三维人脸表情合成研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:nihaobaobeisss
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
面部表情是人们传递情感信息的重要手段,在日常交流中占有重要的地位。在各种计算机服务日益便捷的今天,人们希望计算机能够和人一样进行情感交流,特别是能够表达出拟人化的面部表情。人脸表情合成技术作为当今计算机应用领域的一个热点问题,其成果在影视及游戏娱乐、人机交互、虚拟现实、远程会议与教育、辅助医疗等方面有着广泛的应用。该领域的研究经过多年的发展,取得了长足的进步,并涌现出较多有效的人脸表情合成方法与模型。然而,由于面部表情具有丰富而复杂的变化,要快速生动的利用计算机进行表情的重现并付诸实用化,目前仍有不少问题亟待解决。如何设计和构建同时具有高度真实感和较高实用性的表情合成系统,仍然是一个富于挑战性的研究课题。本文以研究和建立具有真实感和实用性的三维人脸表情合成系统为目标,对三维人脸数据处理、三维人脸建模、基于生理建模的表情合成、基于统计建模的表情合成等相关课题进行了深入的探讨和研究。分别从生理建模和统计建模两个角度出发,研究了人脸表情合成问题,并提出了相应的表情合成模型。在此基础上,设计和构建了面向一般人脸的多模式三维人脸表情合成系统。本文中工作的创新点及主要贡献可总结如下。第一,为了提高三维人脸数据处理的准确度和自动化程度,提出了一个基于对应匹配的三维人脸精细配准方法.该方法把三维人脸的对应问题转化为二维图像的对应匹配。通过若干自动检测的特征点位置提供先验信息,对于全图像的对应关系进行插值,得到“粗”对应:将图像进行光照补偿后,进一步采用光流法进一步修正对应关系,得到“精细”对应。该算法自动化程度很高,通过两个阶段的处理后,所得的三维人脸对应较为精确,并对光照不敏感。在此基础上,进一步构建了三维人脸的统计模型,并将其作为表情合成平台的基础。第二,在分析和总结人脸生理解剖知识的基础上,提出了一种新的用于表情合成的自适应三维人脸生理模型。该模型包括一个改进的肌肉模型、一个下颌骨模型、一个单层皮肤模型以及相应的皮肤的应力机制。其中的皮肤模型具有简约的结构,并设计了相应的应力机制来模拟真实皮肤的应力变化。该模型的优点在于结构简单,合成效率很高,并保证了表情合成的真实感。同时,为该模型设计了一种自适应匹配方法。该匹配方法将生理模型参数与人脸形状特征相联系,对于新的人脸,通过形变模型自动获得输入人脸的三维外观,并利用其形状特征,可以自动生成其生理模型参数。该匹配方法计算量小,速度快,匹配结果精确,并能完全实现自动化。第三,在对大量三维人脸数据进行统计分析的基础上,提出一种基于双线性分析的三维人脸表情模拟技术。通过对三维人脸形状样本的双线性分析,将三维人脸的身份特征与表情身份相分离,各自构成独立的线性子空间。该双线性模型规模较小,适用于不同的二维和三维人脸应用课题。第四,为了提高已有双线性模型对人脸与表情的表达能力,提出了一种肌肉参数驱动的双线性表情合成方法。该方法一方面采取分块处理的策略,对于人脸的各个区域建立双线性模型,取得了比总体处理更好的人脸重建和表情模拟效果:另一方面,通过研究生理模型参数与统计表情参数间的映射,在不同的表情合成方法间建立了对应关系,可以根据不同的肌肉参数,获得对应的表情参数,再利用双线性模型来生成实际表情。该方法能够生成内容与力度变化都较为丰富的人脸表情。第五,提出了一种基于流形分析的非线性表情合成模型。该模型中,不同的人脸表情被投影到不同的低维表情流形上,并采用人工监督学习的方法训练和获得不同表情流形间的非线性变化轨迹。该模型比线性化模型更能够有效描述表情状态间的非线性变化关系。最后,利用上述工作,设计并实现了一个面向一般人脸的多模式人脸表情合成系统.该系统可以为输入的普通二维人脸自动生成其对应三维模型,并利用不同的方式合成具有真实感的人脸表情效果,为后续的研究工作提供了一个可扩展的实用化平台。
其他文献
当前我国已经进入脱贫攻坚的关键时期,“精准扶贫”是当前党和政府对于脱贫攻坚最新理论成果并指导实践。以南充市对口帮扶四川省阿坝州汶川县木山村为例,总结出在帮扶过程中
目的:研究对高热惊厥患儿进行人性化护理的临床效果。方法:选取江苏省苏州市相城第二人民医院在2017年8月至2018年12月期间收治的56例高热惊厥患儿为研究对象。按照随机数表
近年来,我国林业的发展取得了显著的进步,受到了国家的高度重视,这是因为人们逐渐发现了森林对生产生活、国家经济的建设与发展及对生态环境的保护来说都起到至关重要的作用
改革开放以来,我国的城镇化得到了迅速的发展,这使得城市基础设施的建设得到了极大的完善.为了更好的贯彻国家提倡的生态文明建设的思想,我国各级政府纷纷响应号召开始了城市
农村经济的发展使乡村住宅建设进入了一个蓬勃发展的时期。但现存问题是:村民的建筑节能意识欠缺、对居住环境舒适需求低、乡村住宅建设中没有建筑设计及建筑节能方面的标准
目的:探讨对行后腹腔镜下肾上腺嗜铬细胞瘤切除术的患者在术中进行细节化护理配合的临床效果。方法:选取2016年1月至2018年12月期间在如东县人民医院手术室接受后腹腔镜下肾
作为一种艺术形式,音乐不仅为个体提供了审美欣赏的对象,也通过自身的魅力影响着现实社会生活。合适的音乐能陶冶人的情操,丰富人的情感,完善个体人格。同时,音乐所包含的丰
目的:探讨对接受手术治疗的子宫内膜异位症患者进行综合护理对其负性情绪的影响。方法:选取2017年1月至2018年12月期间在南京鼓楼医院集团宿迁市人民医院妇科接受手术治疗的4
文冠果是我国珍贵的观赏兼油料树种,具有较高的食用价值、营养价值和经济价值。阐释了文冠果具有的生物特性和使用价值,梳理了文冠果的种子繁殖、分株育苗、埋根繁殖、栽植技
基层协同共治模式研究是为解决当前“乡政村治”下基层治理过程出现的治理主体单一、行政化倾向严重、公共服务供给不足等问题提出的,符合基层治理改革的大局,利于加强乡镇政