论文部分内容阅读
嘴唇动画作为人脸动画中最重要的部分之一,可以应用在影视特效,动画制作,游戏娱乐以及视频会议等诸多领域,具有很大的应用价值和商业价值。本文研究的内容是如何利用视频驱动嘴唇,大致分为两个部分:如何从视频中捕捉到嘴唇特征点,以及如何利用捕捉到的嘴唇信息驱动嘴唇模型。本文采用的嘴唇模型是基于CANDIDE-3面部模型的,它的驱动机制以面部行为编码系统作为基础,根据面部行为编码系统定义的动作单位,驱动人脸模型。利用它的驱动机制,可以将跟踪得到的嘴唇信息转换为驱动嘴唇模型的参数,最终根据这些参数得到嘴唇动画。本文采用了两种不同的方法对嘴唇进行跟踪,一种是基于表观的方法,另一个种是基于运动的方法。基于表观的方法,存储跟踪目标的纹理,通过改变目标模型的位置参数和形状参数,使其和视频中的嘴唇相吻合。由于希望不使用训练样本就可以对嘴唇进行跟踪,因此纹理模型从第一帧获取,然后从后续的帧中获取形状无关纹理,将纹理模型和形状无关纹理进行比较,得到嘴唇模型的最优参数。该方法可以直接得到嘴唇模型的参数,最终合成的嘴唇动画在大部分情况下是令人满意的,但是当嘴唇变化过大的时候,跟踪器会跟丢,因此一些比较明显的口型变化无法在合成的嘴唇动画中重现,影响了合成动画的质量,但跟踪器可以在没有外界干预的情况下重新恢复对嘴唇的跟踪。基于运动的方法采用比较成熟的Lucas-Kanade光流法跟踪嘴唇的四个特征点,由于下嘴唇特征点在嘴唇运动过大的时候会跟丢,本文利用嘴唇的几何形状和嘴唇的边缘信息对下嘴唇特征点进行约束,得到了不错的跟踪效果;利用基于运动的方法跟踪到的4个嘴唇特征点,本文用最小二乘法求取嘴唇模型的参数,最终合成的嘴唇动画具有一定的逼真度。