论文部分内容阅读
基于动态点云的三维人脸表情跟踪是计算机图形学领域一个重要的研究问题,也是当前的研究热点。它在计算机动画和游戏、数字影视、虚拟现实、远程网络会议、可视电话、人脸表情识别、辅助教育等领域有着广泛的应用。近年来出现的动态三维数据测量技术使得以视频频率获取动态人脸点云序列成为现实,这些点云序列记录了人脸的表情变化(包括全局的刚体运动和局部的非刚体变形),对点云序列进行跟踪生成拓扑一致的三角网格模型,避免了手工进行人脸建模和表情编辑这一繁琐工作。因此,基于动态点云的三维人脸表情跟踪成为真实感三维人脸表情建模最新的途径和方式之一。基于动态点云的三维人脸表情跟踪研究有三个急需解决的关键问题和难点问题:1)如何减少跟踪过程中的人工干预;2)如何获取人脸逼真的表情细节;3)如何提高处理效率,达到跟踪的实时性。这三个问题解决的好坏将直接影响到该技术在相关领域的实际应用。因此,本文针对这三个关键问题展开分析和讨论,提出新的方法着重改善这三方面的性能,从而使方法能满足实际应用领域的需求。主要工作和创新点如下:1、提出一种新的网格对准目标函数。目标函数中引入法向保持和夹角保持约束条件,减少了跟踪过程中的人工干预,并能保持较好的网格质量。1)法向保持约束条件。法向保持约束条件使得参数化网格对准每一帧点云时无需人工指定特征对应点,减少了跟踪过程中的人工干预;与传统的基于光流的自动跟踪算法相比,基于法向保持的算法更加稳定;法向保持约束条件使得在参数化网格与点云形状相差较大时,也可以得到理想的对准效果,提高了算法的自适应性。2)夹角保持约束条件。该条件可使跟踪得到的一系列参数化网格始终保持较好的质量,避免狭长三角片和很小三角片的出现。2、提出基于拉普拉斯平滑和多尺度网格匹配的三维人脸表情跟踪算法,能很好地再现人脸表情的细节特征。1)细节特征提取。利用拉普拉斯平滑将点云上的皱纹、褶皱等细节特征提取出来单独匹配,可有效解决网格模型对准整个点云时难以准确匹配点云上较尖锐的局部细节变形的缺陷,提高了对准精度;细节特征完全提取自点云,充分利用了点云自身所包含的运动信息,与传统的高真实感跟踪方法相比,避免了手工绘制或单独获取这些细节信息所需的额外花销和代价。2)多尺度网格匹配。低尺度网格用于匹配点云上平滑掉细节特征后的由脸部肌肉运动引起的全局变形,高尺度网格用于匹配从点云上提取出的由局部皮肤变形引起的精细表情细节特征,在跟踪得到表情细微细节的同时,保证了算法的效率。3、提出基于区域变形的三维人脸表情跟踪算法,提高了表情跟踪的效率。将网格模型与每一帧点云对准时,自动对网格模型进行初始区域划分,对每个初始区域,又自动进行子区域分割并对每个子区域计算一个统一的非刚体变换,使各个子区域变形后逼近点云。分区域计算变形可显著减少优化求解变形时涉及的未知量数目,大大提高了运算速度,并节省了存储空间。本文提出了新的用于表情跟踪的网格对准目标函数,基于拉普拉斯平滑和多尺度网格匹配的表情跟踪算法,以及基于区域变形的表情跟踪算法,减少了跟踪中的人工干预、提高了跟踪质量和跟踪速度。在如何利用帧点云间连续性更好地处理质量差的点云输入方面还需要进一步提高。另外,结合并行处理,可进一步提高算法效率。这些都是本工作未来的工作方向。