论文部分内容阅读
视频驱动的人脸动画一直是计算机图形学和计算机视觉研究领域中的难点,并成为近年来的研究热点,在视频会议、网络游戏、数字娱乐等诸多方面有着非常广泛的应用。本文重点研究三方面的内容:视频人脸特征跟踪、二维夸张化卡通人脸生成以及基于MPEG-4的二维人脸动画技术。
在视频人脸特征跟踪中,根据特征点所在人脸部位具有不同的纹理特征进行分组,提出在不借助任何外部条件(如贴标记点)的情况下对不同组特征点采用不同的跟踪方法。首先,对于纹理变化不大的眉部等一组特征点,采用光流方法进行跟踪,同时对其进行了改进,将通常只参考前一帧图像改为利用初始帧和前一帧的加权和进行预测,提高了光流跟踪的准确性。其次,对于嘴部特征点,通过分析其多样的纹理信息,采用弹性图匹配的方法进行跟踪。该方法中,Gabor变换能够提取特征点周围丰富的频域特征而助于跟踪,但速度慢,无法实时。本文通过光流预测、Jet值估计等方法提高了匹配时的搜索速度以满足实时要求。再次,对于眼皮上的特征点,因眼睛周围有着特殊的边缘纹理特征,可采用图像二值化方法得到特征点的大致位置以达到跟踪的目的。实验表明,这样将多种方法相结合跟踪特征点的方法是有效的。
在二维夸张化卡通人脸生成中,本文通过特征分析提取出人脸与众不同的特征,之后将基于规则和基于样例学习的两种方法统一起来对这种与众不同的特征进行形状夸张。实验表明,这种方法既减少了训练样本,又可以使生成的人脸具有画家的风格。
在基于MPEG-4的二维人脸动画技术中,本文将针对于三维人脸设计的MPEG-4人脸动画机制中的FAP和FDP参数进行了修改,使其符合本文的二维卡通人脸动画。这样,既满足了实际需要的同时,又提高了表情动画的合成速度。
最后,在以上各项研究的基础上,构建了视频驱动下的夸张化卡通人脸动画系统。该系统可完成任意输入真实人脸的卡通肖像生成、表情合成和FAP流驱动的人脸动画等功能,具有很强的娱乐色彩。