汉语语音同步的真实感三维人脸动画研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:cq823285326
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
具有真实感的语音同步人脸动画是当今计算机图形学领域的一个热点问题。它在人机交互、娱乐、影视制作和虚拟现实等方面有着非常多的应用。在过去的三十年中,相关领域取得了长足的发展与进步,但仍存在许多问题亟待解决。其中,如何获得具有高真实感的语音同步人脸动画是一个富于挑战性的课题。该课题涉及个性化人脸的运动学和动力学建模和表示、协同发音机制的建模和表示以及语音驱动人脸动画的主客观评估等诸问题。本文从以下几个方面对语音驱动人脸动画这一富于挑战性的研究课题进行了重点研究。首先,本文在Waters肌肉模型的基础上提出了一种新的嘴唇肌肉模型。针对Waters模型过于简单,不能对复杂的面部动作进行有效建模的问题,本文参考面部解剖学的相关研究成果,提出了一种能够精确描述嘴唇运动的新的嘴唇肌肉模型。该模型将嘴唇的整体运动分解为若干个子运动,并通过各子运动之间的线性组合来表示嘴唇的整体运动。为了合成说话人脸,首先在嘴唇上标记出一些特征点并通过这些特征点获取一组用来描述嘴唇运动的参数。在此基础上,建立嘴唇的运动模型。然后,利用上述嘴唇运动模型和与之相关联的线性肌肉模型,合成各种说话口型。实验结果表明,该嘴唇模型计算代价低、实用性强,是一种有效的嘴唇模型。利用该模型可以合成具有一定真实感的口型动画。其次,在汉语普通话三音子模型和协同发音相关研究成果的基础上,本文提出了一种上下文相关的可视语音协同发音模型。该模型将基于规则集的方法和基于学习的方法进行结合,充分利用两种方法的优点来获得具有真实感的人脸语音动画。我们的模型关注于汉语普通话协同发音的视觉效果。为了得到关键的合成口型,建立了可视语音的协同发音规则集。各音子的相应视位权重可由量化的规则集计算得出。在此基础上,可以合成对应于各音子的口型序列。然后,利用基于学习的方法,从所有的可能选择中获得合成的两音子间的过渡口型,最终得到具有真实感的人脸语音动画。此外,本文还提出了一种新的与语速相关的嘴唇运动模型。在连续语流状态下语速对嘴唇运动的速度和幅度都有很大的影响。研究表明,一些说话人在保持运动速度相对不变的条件下通过增大嘴唇运动幅度来达到增加语速的效果,而另一些人则在保持嘴唇运动幅度不变的前提下通过增大运动速度来实现提高语速的目的。也有一些人通过同时调节嘴唇的运动幅度和运动速度两种参数实现对语速的控制。这表明,在不同的语速条件下,不同人的唇动策略有所不同。基于上述背景知识,本文提出了一种新的具有高度自然度和个性化特征的、与语速相关的嘴唇运动模型。这里,将嘴唇肌肉区域看作一个独立的粘弹性系统,根据EMG信号与语速以及肌肉收缩力之间存在的观测数据得到皮肤肌肉组织和语速以及肌肉收缩力之间的定量关系。依据该嘴唇运动模型,我们构建了一个汉语普通话人脸动画系统。最后,为了对所构建的语音同步人脸动画系统的质量进行评估,本文提出了一种用于汉语可视语音动画质量评估的系统化方法。该方法主要由两种测试步骤构成:可接受性测试与可理解性测试。在可接受性测试中,使用了诊断的可接受性测量方法,并添加进了测试和客观评估相结合的方法。在可理解性评估中,提出了一种新的可视汉语改进押韵测试方法。在该方法中,通过引入“惩罚”与“原谅”因子以模拟人们对于说话人脸的感知。综合两种测试方法可以得到对所提出的三维人脸语音动画系统的总体评估。在前述研究的基础上,我们设计并实现了一个汉语三维人脸语音动画演示系统。该演示系统可以根据所输入的语音和特定人的三维人脸模型生成具有真实感的个性化说话人脸动画。
其他文献
亚马逊利用人工智能处理医疗记录,引发隐私担忧。2018年12月,亚马逊(Amazon)推出了一项服务,该服务基于人工智能和机器学习技术,可以梳理病人的医疗记录并提取有价值的洞察。
今天,中国的企业家面临的创新挑战比以往任何时候都要大,'率先模仿就是创新'的红利越来越薄,几乎不复存在。技术、高度透明性和新兴市场的竞争,使得公司的技术、产品
随着疾病模型研究、新药研发等在小动物活体上观测分子功能的研究需求越来越迫切,各种模式的小动物在体成像系统在生物医学研究中地位越发重要。荧光分子层析成像由于可以在
在现代医院管理系统中,档案管理是其中最重要的一个环节之一。但是在很多医院中,档案管理没有得到相应的重视,存在人才素质严重不足,档案管理资金投入不足,医院档案管理体制建立不
目前,人们不但可以通过互联网和CD-ROM方便快捷地获得多媒体信息,还可以得到与原始数据完全相同的复制品,由此引发的盗版问题和版权纷争已成为日益严重的社会问题。数字水印
北京翠微园小区西里建设的高层住宅共有六幢,各幢结构基本相同,其平面为“Y”三叉型,钢筋混凝土结构,地上24层,高度62m。依小区所处位置而定,每三幢组成一个“C”字形布置(图1)。我
在GIS中使用具有拓扑关系的空间数据,不仅使空间实体数据量大大减少,而且解决了邻接关系和网络关系问题。空间数据拓扑关系的建立一直是GIS研究的重要问题和难点,这一问题被
裂缝是桥梁工程在施工和使用过程中一个常见的质量问题,对于桥梁工程的质量和使用寿命都有着很大的影响。本文对桥梁的施工技术进行了介绍,并就桥梁工程在施工和使用过程中产生
大数据时代在不经意间大踏步地向我们走来,互联网时代引领各个行业加速前进,建筑业刻不容缓.如何利用大数据将建筑做得更美好、更实用、更人性化、更节约更环保、更契合环境
本文以油田的电机、泵与风机为研究对象,开展电机系统节能运行与决策支持系统研究。主要研究内容为:(1)油田电机系统节能运行决策支持系统研究油田电机系统节能运行的决策支