所有提交的电磁系统将被重定向到在线手稿提交系统。作者请直接提交文章在线手稿提交系统各自的杂志。

3 d人脸识别和建模系统

Sushma贾斯瓦尔* 1,博士。辛格Sarita Bhadauria2辛格Dr.Rakesh米伦3
  1. 讲师,sos在计算机科学中,Pt.Ravishankar舒克拉大学sujeet kumar (C.G.)
  2. 教授和负责人,电子工程系Madhav理工学院和科学,瓜廖尔(议员)
  3. &教授,计算机应用部门Madhav理工学院和科学,瓜廖尔(议员)
相关文章Pubmed,谷歌学者

访问更多的相关文章全球研究计算机科学杂志》上

文摘

在这篇文章中,2 d照片图像分成两部分;一部分是前视图(x, y)和侧视图(y, z)。这种方法的必要条件是位置或坐标的图像应该一律平等。我们结合图像根据坐标然后我们将得到3 d模型s (x, y, z)但这3 d模型不准确的大小或形状。在定义句话说,我们将得到真实感三维人脸模型,改进3 d的脸通过编辑点和平滑的过程。平滑的执行更现实的真实感三维人脸模型的人。我们测量比较平均时间建模和比较我们的研究结果与不同的技术方法,为此我们采取两个假设(1)的平均质量方法将高于60%(2)在平均速度与其他情况(3)自动化。第一个假设是正确的,但第二个与其他三种方法和第三个满意。

关键字

3 d模型、人脸识别、假说,二维照片,平滑。

介绍和文献综述

人脸识别一直是一个活跃的研究领域在过去40年。本研究跨越几个图像处理等学科,模式识别,计算机视觉和神经网络。科学家已经研究了来自不同领域的心理物理科学和这些来自不同领域的计算机科学。心理学家和神经科学家主要是处理人类感知的部分主题,而工程师在机器学习识别人脸的人脸识别的处理计算方面。人脸识别主要应用领域的生物识别技术,访问控制、执法和安全监测系统。
人脸识别问题可以表示如下:鉴于静态图像或视频的一个场景,场景中确定一个或更多的人通过使用存储的数据库面临(R。Chellappa合编(1995)]。主要问题是一个分类问题。训练图像的人脸识别系统已知的个人和分类的新测试图像到一个类是人脸识别系统的主要方面。
这个问题似乎很容易解决人类在有限的内存可以主要问题;而机器人脸识别系统的问题是:
1。面部表情变化
2。光照变化
3所示。老化
4所示。构成变化
5。比例因子(即图像的大小)
6。额和概要文件
7所示。存在和没有眼镜,胡子,胡子等等。
8。阻塞由于围巾,掩盖或障碍。
自动人脸识别问题(误判率)是一种复合任务,包括检测面临着从杂乱的背景,面部特征提取和人脸识别。一个完整的人脸识别系统必须解决所有子问题,每个人都是一个独立的研究问题。本研究工作集中于3 d人脸识别和建模的问题。
许多研究人脸识别的处理差异很大的挑战在头部姿势,照明强度和方向,面部表情和老化。本文的主要目的是描述最近的3 d人脸识别算法。最近几年越来越多的二维人脸识别算法改进和测试不到完美的图像。然而,3 d模型面临的更多信息,如表面信息,可用于人脸识别或歧视。另一个主要优势是,3 d人脸识别带来不变。大多数呈现3 d人脸识别方法的缺点是,他们仍然将人脸作为一个刚性对象。这意味着没有能力处理面部表情的方法。虽然二维人脸识别仍然似乎比3 d人脸识别方法,预计这将改变在不久的将来。
蔡美儿et al。(1997、2000)引入点签名来描述3 d地标。他们用签名来描述前额,鼻子和眼睛。他们的方法达到100%的识别率,当测试数据集与6个科目。王等人使用的签名来描述局部点脸(里程碑)。他们测试他们的方法在一个数据集的50个主题和比较他们的结果和伽柏小波方法[Wiskott, l .合编(1997)]。他们的研究结果表明,点签名仅达到85%的识别率,伽柏小波达到87%的识别率。如果两个2 d和3 d的地标建筑结合,达到89%的识别率。作者说,这些结果可能也会受到地标的数量用于人脸识别,因为点签名4地标,为伽柏小波6地标,两者的结合12地标。
杜罗河和巴克斯顿提出了高斯曲率来定义二次补丁提取人体的重要领域。他们声称他们的方法可以用于识别各种3 d模型[杜罗河,我。巴克斯顿背面,(2002)]。另一个地方形状描述符被发现对人类的身体是执行好Paquet形状描述符(罗宾奈特K.M. (2004)]。
Blanz,检查者和Romdhani提议使用3 d morphable模型对人脸识别2 d图像[Blanz V合编(2002、2003)- Romdhani, S。检查者,t (2003)]。然而,所有方法的识别率是morphable模型之间的75%和99%。
Naftel等人提出了一个方法来自动检测地标在3 d模型通过使用立体相机(黄,J合编》(2003))。2 d图像上的地标被发现的ASM模型。这些里程碑点转化为立体相机的3 d模型算法。该算法是正确的在80%的情况下测试数据集25科目。
安萨里和提出的类似的想法是Abdel-Mottaleb [2003]。他们用CANDIDE-3模型[Ahlberg, j .(2001)]进行人脸识别。基于立体影像具有里程碑意义的点周围的眼睛,鼻子和嘴巴都从2 d图像中提取和转换成3 d具有里程碑意义的点。三维模型是由改变CANDIDE-3通用匹配具有里程碑意义的点。眼睛,鼻子和嘴的3 d模型分别在人脸识别匹配。他们的方法达到96.2%的识别率,使用数据库的26个科目。
Suikerbuik[2004]提出利用高斯曲率在3 d模型找到5地标。他能找到正确的里程碑点的最大误差为4毫米。戈登提出使用高斯和cean曲率结合深度图提取区域的眼睛和鼻子。他匹配这些区域,达到97%的识别率,对24个被试的数据集(戈登,G.G. (1991)]。莫雷诺等人用中位数和高斯曲率的选择35特性描述鼻子和眼睛的脸地区[莫雷诺、A.B.合编(2003)]。最好的识别率是达到中性脸上的识别率为78%。许等人提出使用Gaussian-Hermite时刻作为局部描述符结合全局网格(徐,出版社。(2004)]。他们的方法达到92%的识别率,当测试数据集30科目。增加到120数据集时,识别率下降到69%。
陆等人使用了通用的头Terzopoulos和水域(Terzopoulos D。水域,K。(1993)] which they adapted for each subject based on manually placed feature points in the facial image [Lu, X.et.al.(2004)]. Afterwards the models were matched based on PCA. This method was tested on frontal images and returns in 97% of all cases the correct face within the best 5 matches. 3DMeNow Pro v.2 by BioVirtua human modeling package. Used to build recognizable human and character models for interactive 3D games and broadcast animation, this software produces amazingly lifelike 3D head data (models, textures and morph states) in a fraction of the time taken with conventional manual authoring techniques.
Faceworx looxis应用程序是一个免费软件,创建一个3 d头两个标准的2 d照片。你需要两个明亮的照片;一个从前面(照片风格)和一个从侧面。软件需求的一些技能将参考点和标记的脸的轮廓;嘴巴,鼻子,耳朵和眼睛。最后的3 d肖像可以保存和导出众所周知OBJ格式。
CyberExtruder AvMaker软件将自动创建一个3 d的头模型的照片中的人,没有点移动,不需要定位的眼睛——软件它!AvMaker生成一个新的头模型的速度确实是令人印象深刻的,因为如何快速、准确地定位所有的解剖相关部分人类头上的2 d图像导致非常快的2 d到3 d生成器。
Haar-like特性标量值,代表两个矩形区域之间的平均强度的差异。他们捕获强度梯度在不同的位置、空间频率和方向通过改变位置,大小、形状和排列的矩形区域详尽解决探测器根据基地。外貌的方法大部分这些算法使用原始像素值作为特征。然而,他们敏感噪声和光照的变化。相反,Papageorgiou et al。[1998]使用Haar-like特性,类似于哈尔基函数。特征编码两个矩形区域之间的平均强度的差异,他们可以提取纹理不取决于绝对强度。
贾斯瓦尔合编文学(2010)给出了简要描述图像基于人类和机器识别的脸上在1987年到2010年。机器识别面临的几个应用程序。作为最成功的应用程序的图像分析和理解,人脸识别最近引起相当大的关注,尤其是在过去的几年里。此外,相关的话题,例如简短的研究,系统评价,光照和姿态变化的问题。摘要许多方法与基于图像的三维人脸识别进行了讨论。
最近,中提琴和琼斯提出一个有效的方案计算这些特征(P。中提琴和m·琼斯(2001)]。他们还提出了一个方法,构造一个强分类器通过选择少量的特色使用演算法。这个框架提供了鲁棒性和计算效率。
贾斯瓦尔等人(2008)描述了一种有效的方法和算法,使个人面临动画从可能的输入。算法重建三维面部模型动画从两个投影照片从前面和侧面视图或数据从任何可用的资源范围。它是基于以自动方式提取特征脸和修改一个通用模型,检测到的特征点与圆锥曲线和pixalization。然后好修改遵循如果数据可用范围。重建3 dface可以动画立即用给定的参数。几个面临一个方法论应用于不同输入数据得到最终可以做成动画的脸。
提出了很多改进或扩展的方法。我们将介绍两种主要的方法,然后指出这些方法的问题。第一种方法是提高算法的改进。有演算法的修改版本,如真正的提高(R。大肠Schapire和y歌手(1999)],KLBoosting (C。刘和h . y . Shum(2003)]和FloatBoost [S。李z合编(2004)]。第二种方法是使用扩展的功能集,这样可以评估各种图像模式。如Figureure 1所示,除了基本的特性集(a),不同的安排或数字的矩形(b)、(c)或在[P (d)使用。中提琴和m·琼斯(2001),b .吴合编(2004)]。
图像
Lienhart等。[2002]介绍了一种有效的方案计算45一个¢—¦旋转功能。虽然这两种方法都是有效的,但不足以实现更准确的人脸检测。大多数这些方法构造一个弱分类器通过选择一个特征从给定的特性集,但是不再是提高泛化性能在后面几轮的提高过程,因为分类任务只使用一个特性变得更加困难。中提琴和琼斯报道,特征选择在以后轮产生了出错率在0.4和0.5之间,特征选择在早期轮错误率在0.1和0.3之间(P。中提琴和m·琼斯(2001)]。
贾斯瓦尔合编(2007)“自动真实感三维人脸模型从2 d影像投影”把2 d图像转换成3 d模型该模型识别的脸。在这种方法中得到3 d可以做成动画的脸,精致的3 d人脸可以做成动画通过pixellization和平滑的过程。平滑的执行更现实的真实感三维人脸模型的人。

我们的方法3 d人脸识别和建模系统

在本节中,我们描述我们的算法,能够自动或半自动构建3 d地脸模型从正面和侧面的脸。我们的算法的过程可以分为以下步骤:
前视图和侧面视图:
这两种观点都以这样一种方式捕获的脸前视图的水平距离和侧面是一样的。图片应该在相同的大小(即。,同样的像素大小)。在捕捉侧面应该小心侧面垂直于水平线的前视图。作为输入的图像在一个可选的参数检测可以使用照片分辨率和质量,但我们建议使用图像和512号决议x512更高,面部特征包含的更多信息和高分辨率的纹理可以创建我们的参考——扩展XM2VTS数据库。(见图2)
图像
面对提取:
的脸是提取前视图以这样一种方式,竖直维度的脸的正面视图和侧面视图相同和水平维度的侧面应该覆盖的脸。人脸及其属性检测应该执行单独的图像。认识到头部和从图像收集其属性使用两种主要的方法。哈雾级联分类器基于一组扩展的哈雾像功能。
获得通过前视图的投影坐标(x, y):
在这一步中,x坐标是提取图像的前视图左边或右边的参考图像的边界和y坐标从底部边界的图像。每个像素的前视图可以被识别的x和y坐标。(见图3)
图像
通过投影坐标的侧视图(y, z):
在这一步中,z坐标从侧面的图像中提取参考图像的右边界和y坐标从底部边界的图像。可以确定每个像素的侧面的y和z坐标。检测参数的剖面图像我们应用中值滤波平滑分割结果和减少噪音。(见图4)
图像
3 d建模(x, y, z):
现在3 d坐标从以前的方法在三维空间中。这三维块x, y, z坐标将显示真实感三维人脸模型。这里有一件事是重要的协调这两种观点都和相同或接近对方,他们可以平均每个知道相应的轴2 d在相对结合3 d图像平面坐标。检测面通过使用基于哈雾级联分类器和图像的分割。这里真实感三维人脸几何结构通过将预定义的模型根据参数检测在这个步骤和颜色纹理和法线贴图纹理创建和映射(见Figure5和Figure6)。
图像
平滑的真实感三维人脸模型:
后创建3 d图像必须过滤,这样对于一个给定的像素和相邻的像素比较三维原始图像和区别这些像素用于平和的形象通过校正点。我们应用在3 d模型描述实时3 d模型。脸的几何模型表示成三角形网格和分别为每个三角形顶点编码。因此删除双打选项应该使用在数字内容创建工具达到连续的和光滑的表面。图像编码转换成YCrCb颜色空间和Cr和Cb对所有像素值评估。YCrCb编码是一个非线性的RGB信号,颜色是由亮度(从非线性RGB亮度,计算[Poynton 1995]),构造成一个RGB值的加权和,和两个色差值Cr和Cb减去从RGB亮度形成的红色和蓝色的组件。(见图7)
Y = 0.299 r + 0.587 g + 0.114 b
Cr = R−Y
Cb = B−Y
转换简单和明确的亮度和色度分量的分离使得肤色这色彩诱人的造型(Phung et al . 2002年)。
图像
真实感三维人脸模型:
颜色纹理是自动创建通过加入检测面临地区从前面和概要文件输入图像。第一步是扩展一个较小的图像具有相同的面对更大的一个高度。然后从额叶正面图像矩形图像与一个概要文件的脸图像矩形。一个概要文件矩形连接到前面的矩形两左右。水平翻转剖面图像从左侧加入了。X关节坐标在左眼图像前面左边界的位置和右眼右位置和眼科中心的图像的轮廓。混合线性插值计算图像之间的连接区域。图像结后,已知纹理部分克隆为背景纹理部分。例如上面的头发纹理克隆到空间。当颜色纹理创建完成后,我们可以计算法线贴图纹理。 Grayscale copy of color texture is used as a surface height map, because it contains main head surface details information. For each pixel in grayscale image it is calculated its x direction and y direction intensity difference with the next pixel in current direction. This difference is scaled by surface height scale constant to decrease differences. We found empirically the height scale constant 0.01 in our experiments. X and Y differences are brought into account as derivatives of the image function in X and Y directions. From these derivatives we can create directional vectors and calculate image function normal as their cross product. Then we normalize obtained normal and transform its coordinates into the RGB color space for storing in the normal map texture. Finally it will give the 3D face model.
环境
为了开发和测试解决方案,必须编写代码。两种可能性已确定要使用的开发环境;他们如下:
c++(或另一个这样的编译语言)。
VB6.0
而在运行时编译语言可能是更快和更普遍(这将受益更多的商业应用程序),这个项目的范围是提供一个概念证明。正是因为这一原因,c++被选,由于数量的关键特性。是一种脚本语言,它允许更快的新代码的开发和快速成型,可能以牺牲运行时慢。许多必需的功能是建立在c++开发环境,消除需要适应这些编译后的代码。生产系统可能被转移到编译语言,当开发和测试周期不占主导地位。

结果与结论

我们测试了真实感三维人脸建模系统开发英特尔(R)核心™2双核2.66 ghz CPU, 2047 mb RAM计算机与NVIDIA GeForce 7300 SE / 7200 GS图形卡。检测在前面图像需要平均1.00秒和检测资料图片在这个硬件configureuration平均需要1.00秒。真实感三维人脸模型更新过程需要平均5秒。真实感三维人脸建模系统接受了常见的图像数据格式支持的前部和侧作为输入的照片。例如jpg, bmp, png, tif文件格式支持。人脸从前面或概要视图应该在输入照片。我们建议图像分辨率440 x440或更高更好的人脸识别和创建颜色纹理的更多细节。哈雾级联分类器的主要优势是健壮的和精确的脸和面部特征检测。我们用各自的方法建模系统。施工质量的主观评价的三种方法随机选择20人年龄从24岁到50年。 The selection of peoples was not dependent from age, sex and education.
人民是看施工评价。我们比较方法与其他方法(1)3 dmenowpro (2) 3 d morphable脸(3)网络基础模型(4)Faceworx挤出机。我们检查了施工质量的方法是主观排名报告的60%。第一个假设是证明(见表1),但其他技术在平均时间相同或更好的第二个假设是错误的,因为其他两个方法给了相同的平均时间即6秒(见表2)。平均时间是影响处理器的速度或高conFigureuration的处理器。在未来我们将尝试修改第二个假设的结构。
很难比较不同方法的结果从文献中给出的实验主要是表现在不同条件下对不同大小的数据集。例如一个方法测试中性额图片和有较高的识别率,而另一种方法是测试噪声图像具有不同面部表情或头部姿态和出错率很低。
一些作者提出的组合不同的方法对人脸识别方法,这些表现都比单独的方法。但除了识别率,错误率和计算成本也很重要。如果错误率明显降低,而提高识别率只有一点点,合并后的方法仍然是首选。但是,如果计算成本增加很多,计算时间可以成为实际应用的。
图像
图像

引用

  1. Suikerbuik, C.A.M.,Tangelder, J.W.H., Daanen, H.A.M., Oudenhuijzen, A.J.K.: Automatic feature detection in 3D human body scans. Proceedings of the conference “SAE Digital Human Modelling for Design and Engineering. (2004)
  2. 戈登,G.G.:基于DepthMaps和表面曲率的人脸识别。学报学报、几何方法在计算机视觉中,卷》1570。(1991)108 - 110
  3. 莫雷诺,学士,S´anchez, A., V´elez, J.F., D´?az, F.J.: Face Recognition using 3D Surface-Extracted Descriptors. Proceedings of the Irish Machine Vision and Image Processing Conference. (2003)
  4. 贾斯瓦尔,S。,S.S. Bhadauria and R.S. Jadon, 2007. Automatic 3D face model from 2D image-through projection. Inform. Technol. J., 6: 1075-1079.
  5. 贾斯瓦尔,S。,S.S. Bhadauria and R.S. Jadon, 2008. Creation 3D Animatable Face Methodology Using Conic Section-Algorithm, Inform. Technol. J., 7, 292-298.
  6. 徐,C。,Wang, Y., Tan, T., Quan, L.: Automatic 3D Face recognition combining global geometric features with local shape variation information. Proceedings of the IEEE International Conference on Automatic Face and Gesture Recognition. (2004) 302–307
  7. 蔡c。,Jarvis, R.: Point Signatures: A New Representation for 3D Object Recognition. International Journal on Cumputer Vision. 25 (1997) 63–85
  8. 蔡c。,汉族,F。,Ho, Y.K.: 3D human face recognition using point signature. Proceedings of the IEEE International Conference on Automatic Face and Gesture Recognition. (2000) 233–238.
  9. SushmaJaiswal, Sarita辛格Bhadauria, Rakesh Kumar辛格米伦,塔伦Divakar(2010),简要描述的基于图像的三维人脸识别方法,施普林格,3 d研究卷1、4号,1 - 15,DOI: 10.1007 / 3 dres.04 (2010) 02。
  10. Wiskott, L。,Fellous, J.M., kruger, N., van der Malsburg, C.: Face Recognition by Elastic Bunch Graph Matching. IEEE Transactions on Pattern Analysis and Machine Intelligence. 19 (1997) 775–779.
  11. 杜罗河,我。,Buxton, B.F.: Three-Dimensional Surface Curvature Estimation using Quadric Surface Patches. Proceedings of the Scanning 2002 Conference. (2002)
  12. 罗宾奈特K.M.,An Alternative 3D descriptor for database mining. Proceedings of the Digital Human Modelling Conference. (2004)
  13. Blanz, V。,Romdhani, S。检查者,T。:面孔识别不同的姿态和灯饰与3 d morphable模型。《IEEE国际自动脸和手势识别。(2002)
  14. Blanz, V。,Vetter, T.: Face Recognition Based on Fitting a 3DMorphable Model. IEEE Transactions on Pattern Analysis and Machine Intelligence. 25 (2003)
  15. Romdhani, S。检查者,T。:高效、稳定和准确3 dmorphable模型的拟合。欧洲计算机视觉的诉讼。(2003)
  16. Heisele B。,Koshizen, T.: Components for Face Recognition. Proceedings of the Audio- and Video-Based Biometric Person Authentication, Vol 2688. (2003) 153–159
  17. 黄,J。,Heisele B。Blanz, V。与3 d Morphable模型:基于组件的人脸识别。音频和视频的程序生物识别人的身份验证,第2688卷。(2003)27-34
  18. Naftal,抗干扰、毛泽东、Z。,Trenouth, M.J.: Stereo-assisted landmark detection for the analysis of 3D facial shape changes. Technical Report TRS-2002-007. Deprtment of Computation UMIST, Manchester. (2002)
  19. 安萨里,。,Abdel-Mottaleb, M.: 3D Face modeling using two views and a generic face model with application to 3D face recognition. Proceedings of the IEEE Conference on Advanced Video and Signal Based Surveillance. (2003) 37–44
  20. Ahlberg, J。:CANDIDE-3 -一个更新的参数化的脸。技术报告LiTHISY - r - 2326。电气工程部门,链接¨了大学。(2001)
  21. Terzopoulos D。水域,K。:面部图像序列的分析和合成使用生理和解剖模型。IEEE模式分析与机器智能。15 (1993)569 - 579
  22. 陆,X。,Hsu, R., Jain, A., Kamgar-Parsi, B.: Face Recognition with 3D Model-Based Synthesis. Proceedings of the International Conference on Biometric Authentication. (2004) 139–146.
  23. biovirtual-3dmenow——专业。软件。告密者。com
  24. http://www.looxis.com。
  25. www.cyberextruder.com。
  26. c·p·Papageorgiou m·奥伦和方法。目标检测的总体框架。Proc. ICCV, 555 - 562页,1998年。
  27. 中提琴和m·琼斯。快速目标检测使用了一连串的简单功能。Proc. CVPR, 511 - 518页,2001年。
  28. r . e . Schapire和y歌手。改善提高使用confidence-rated预测算法。37岁的机器学习(3):297 - 336年,1999年。
  29. 刘和h . y . Shum。Kullback-leibler增加。Proc。CVPR, 587 - 594页,2003年。
  30. 美国z z和李问:张。Floatboost学习和统计人脸检测。IEEE反式。PAMI, 26(9): 1112 - 1123年,2004年。
  31. h . b . Wu Ai、黄c和s .老挝。快速旋转不变的视点人脸检测基于真正的演算法。Proc. IEEE自动脸上Conf.和手势识别,79 - 84页,2004年。
  32. r . Lienhart和j . Maydt。一组扩展的haar-like特性快速目标检测。Proc. ICIP, 1:900 - 903, 2002。
  33. 引用扩展XM2VTSdatabase, http://www.ee.surrey.ac.uk/CVSSP/xm2v。
全球技术峰会