论文部分内容阅读
人脸表情是日常交流时传递感情信息的重要方式,是除语言之外的一种特殊交流手段。随着各种智能设备的普及和计算机网络的快速发展,大量的图像、视频涌现在人们的视野中,使得人脸表情合成成为计算机视觉和图形学领域的一个研究热点。人脸轮廓的差异性和皮肤表面的复杂性,使得表情因人而异且千变万化。表情的变化不仅体现在整体面部特征的运动变形,还包括局部纹理的细微变化,而这些局部的细节往往是判定表情类别的重要视觉线索,但是它们合成起来却非常困难。因此,如何在控制人脸进行变形的同时保持局部细节信息,生成真实感的面部表情具有很大的挑战。人脸表情合成在表情模拟、识别和动画中有着广泛的应用价值。虽然目前文献中提及的大量工作都是基于3D的,但这些算法通常需要面部匹配和修剪,因此非常耗时。本文在研究现有表情合成方法的基础上提出基于网格模型变形的二维人脸表情合成算法,并在通用CK+表情数据库和Multi-PIE人脸数据库上进行实验,以验证算法的有效性。首先,本文探讨了一种基于特征点控制四边形网格变形的移动最小二乘算法(Moving Least Squares,MLS)及其改进的移动正则化最小二乘算法(Moving Regularized Least Squares,MRLS)。这两种算法都是通过对人脸的关键特征点建立线性或非线性回归方程,控制四边形网格顶点的移动,然后对网格进行插值得到其余像素点的值,达到图像变形的目的。虽然这两种算法都能够实现平滑且自然的图像变形效果,但是仅适用于小表情的变形,对于大表情变形会产生交叠的现象。因而,本文进一步提出了基于B样条曲线插值的Delaunay三角网格变形方法,实验结果表明该方法能够保持局部区域的完整性,产生自然平滑的图像变形,并且对小表情和大表情都适应。其次,在基于Delaunay三角网格对人脸图像进行变形的基础上,提出了一种基于光流改进的表情比例图(Expression Ratio Images,ERI)。该方法通过拟合源中性脸和表情脸之间的光照差异将源表情的细节映射到目标中性表情脸图像的相应位置。具有大几何变形和光照差异的表情合成实验结果表明,该算法能够准确地保持几何变形,并且合成的表情在视觉上是逼真的。该方法合成的表情图像不仅保留了目标人物的面部特征,还包含原始人物的局部表情细节,合成表情自然逼真且带有个性化特点。最后,本文在Delaunay三角网格变形和ERI细节映射所合成基本表情的基础上,通过插值方法,实现已有人脸表情的渐变过程,生成新的人脸表情。