基于Kinect的主动外观模型及在表情动画上的应用

来源 :山东大学 | 被引量 : 0次 | 上传用户:march2th
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
面部特征点定位和跟踪是计算机视觉领域非常活跃的研究方向,其成果被用于人脸识别、姿态分析、表情分析、表情传递、人机交互、心理认知等。并为扩展出的应用,如身份识别、网上聊天、视频压缩、特效影视创作、人机交互等提供输入。它的发展还带动了相关学科领域的发展,如医学图像分析等。但由于人脸表情的复杂性,面部特征点定位和跟踪问题仍未能得到完美解决,仍是本领域的研究热点。常用的面部特征点主要围绕眼、口、眉毛以及外轮廓,典型的如嘴角,这些特征点的位置可以通过分析图像提取。面部特征点的定位和跟踪,倘若单纯依靠二维RGB图像和二维模型,易受背景和光照姿态等变化的影响,所以现在的研究中越来越多的倾向于使用三维模型和深度信息。Kinect可以同时提供深度图像和RGB图像信息,为视频中进行面部特征的提取提供了新的工具。提取到面部特征点后,可以分析其表情信息,并传递到目标脸上。由于脸型的差异和表现出的表情各不相同,需要在视频中人脸的特征信息和目标脸的表情信息二者之间找到一种合适的映射关系。本文主要解决这两方面的问题,一是如何从视频中提取表情或者特征点信息,二是提取后如何驱动线条动画。以下列出本文所研究的问题:(1)从同时包含深度图像和二维图像的视频中准确提取面部特征点的位置,并进行跟踪。这一方面的研究又包含两部分内容,一部分为多视角下的,即头部转动情况下的面部特征点的定位问题,另一部分为位于面部边缘约束下的特征点定位问题。①基于Kinect的多视角主动外观模型面部特征点提取中,精度和鲁棒性是研究的关键。面部特征点的提取易受光照和姿态的影响,带来很大的匹配误差。而使用红外,从Kinect中获取的三维深度图像受光照的影响较小,引入的深度也可以增强姿态判断的准确性。由于附加的三维深度图像和二维图像是来自两个摄像头,在摄像头之间存在视角差异,其像素点也并非一一对应的,因此需要解决其对应关系,从而来获得各像素点的深度值。同时,初始化的优劣对主动外观模型的影响很大,在多视角下,头部姿态提取后如何初始化和选择匹配模型,是我们研究的问题之一。②基于边缘约束的AAM轮廓特征点定位传统的主动外观模型采用图像信息进行匹配,在复杂背景环境下,不仅初始化人脸位置比较困难,而且在匹配时容易受背景的影响。而采用深度摄像头后,从深度数据中,可以较为准确的找到物体的边缘。由此可以用其对位于边缘上的面部特征进行约束,提高其匹配精度。引入三维信息后如何对面部特征进行约束,也是本文研究的问题。(2)视频驱动面部线条动画面部线条动画是一门富有生命力的艺术形式,在从视频序列制作连续的动画时,需要研究如何从视频的人脸上尽可能简便地提取表特征参数,并用其驱动线条动画。本文的主要内容和贡献体现在如下几点:(1)为解决深度相机下主动外观模型的初始化及头部视角变化问题,提出了一种深度相机下多视角主动外观模型的初始化和视角模型选择方法,提高了算法的准确性。本文将主动外观模型方法进行扩展,提出了一种同时利用深度图像和彩色图像的人脸特征点定位方法。在采样不同视角的图像,训练得到不同视角的AAM模型的基础上,提出了一个基于人脸深度图像和特征点建立人脸三维网格模型的方法,并利用三维网格模型对不同视角下的人脸进行AAM初始化和多视角模型的选择方法,提高了多视角下AAM定位的精度和鲁棒性。(2)针对面部特征点定位时,轮廓边缘特征点定位精度较低的问题,提出一种利用深度图像对边缘特征点进行约束的方法,可以有效的提高边缘特征点的匹配精度。本文提出的算法中提取脸部轮廓边界作为约束加入AAM能量函数中进行迭代,从而使其更接近实际轮廓。实验表明算法可以有效提高轮廓特征点的定位精度。不过由于在优化时更多的考虑边界上的点,而形变是对全局进行的,在改变匹配系数适应约束点时,内部其他点的位置会发生变化,略微降低了其他特征点的精度。(3)针对视频序列驱动线条动画的问题,提出一种利用AAM匹配过程提取的形状参数驱动线条动画的方法,并设计了应用工具实现输出全过程。线条模型由固定的背景和带宽度的Bezier曲线表示的眼睛、眉毛和嘴唇构成。输入的视频通过AAM提取当前面部特征点的位置,并分解成特定用户的基础表情组合,然后使用该组合的系数驱动线条动画模型的曲线控制点位置以生成动画。该方法易于实现,表情的基本参数较少,方便传输和存储。输出的视频能保持输入的表情变化,并可在本文提供的工具中进一步编辑。由于使用的是组合系数的方法,可以方便的扩展到其他模型上。
其他文献
<正> 有趣的传说在中世纪,活跃在北欧的海盗曾把独角鲸的长牙带到欧洲大陆,但对于它的来历和产地却讳莫如深。人们捉摸不出什么动物的头能支撑这样一支3米长,20千克重的角。
人类与猫成为伙伴的历史可能比我们想象的时间要长得多.在古埃及的神话里,就有位猫女神--贝斯特,她的化身是一只猫,人们赞赏她的敏捷和力量.她有动人的微笑,带给人们音乐、舞
福建省卫生厅妇幼处于1998年8月份分期分批对省属及9个地市的爱婴医院、爱婴卫生院进行了复查。认为主要成绩是领导重视;不断强化医务人员培训;加强制度建设,提高产科质量;不断做好 母
<正> 电热滑雪杖滑雪运动员的手指(尤其是大拇指)在超低温的冰雪世界常被冻伤。为此,加拿大一个滑雪俱乐部设计了一种电热滑雪杖,握把内有一个以强力电池为电源的微型电热器,
夜里能否睡得好,晚上吃了什么很重要。《黄帝内经》里曾有“胃不合则卧不安”的说法:临床营养学家也指出,导致睡眠障碍的原因之一,就是晚餐中吃了一些“不宜”的食物。那么,究竞晚
制约高校科技成果转化的主要内因有:成果与实际需求脱节,工程化技术转移环节严重缺乏经费和与专业企业及市场的结合,高校某些产品和市场开发缺乏企业参与。外部影响因素有:融
<正>提及意大利,罗马、佛罗伦萨、威尼斯、斗兽场、比萨斜塔、文艺复兴、达·芬奇、米开朗基罗、拉斐尔等一个个耳熟能详的名词让人如数家珍。这里厚重的文化积淀,绚丽斑斓的
目的:探讨腹腔镜技术在急腹症诊治过程中的应用价值。方法:回顾性分析2008年10月—2010年10月间72例急腹症患者行腹腔镜探查诊治的临床资料。结果:全组患者经腹腔镜探查均获
铁皮石斛属于兰科草本植物,野生的石斛生长于参天大树树干之上,或生长于悬崖峭壁的阴处。唐代开元年间的《道藏》把铁皮石斛、天山雪莲、三两重的人参、百二十年的首乌、花甲
本文从课改实践层面,探讨了在高中生物学教学中结合地方资源优势开展以绿色生态农业为主题的综合实践活动的实施过程及效果.