MPEG-4兼容的人脸语音动画系统及其在网络通信中的应用

来源 :浙江大学 | 被引量 : 0次 | 上传用户:jialin131466
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
MPEG-4是一个基于对象的多媒体压缩标准,允许将场景中的音频、视频对象(自然的或合成的)独立编码。MPEG-4中定义了“人脸对象”这样一个特殊的视频对象,通过脸部定义参数(FDP)和脸部动画参数(FAP)可以定制人脸模型,并使之产生动画效果。MPEG-4能够将人脸动画和多媒体通信集成在一起,并且可以在低带宽的网络上控制虚拟人脸。 TTS(Text to Speech,文本语音合成)作为MPEG-4中引入的一种有吸引力的合成语音编码技术,它与人脸动画的结合将具有广泛的应用前景。同时,MPEG-4为TTS合成器定义了一个应用程序接口,利用这个接口,TTS合成器可以为人脸模型提供音素和相关的时间标记信息,而音素可以转换成相应的口型,这将使得人脸动画和合成语音能够很好的结合在一起。 本文是基于我们实验室已有的研究工作,在仔细考察了人脸动画的研究现状之后,确定了“MPEG-4兼容的人脸语音动画系统及其在网络通信中的应用”作为自己的研究方向。在MPEG-4标准的范畴下把人脸动画与TTS合成语音集成在一起,不仅是项崭新的研究工作,而且它将在虚拟主持人、窄带的网络通信等中有着很好的应用。因此在研究的基础上,本人还开发出了“Grimace VTTS”和“Grimace Chat”这两个有应用潜力的原型系统。 本文将围绕上述研究方向详细的开展如下几个方面的讨论: 1、标准层面,对MPEG-4标准及其定义的“人脸对象”进行介绍和理解; 2、技术要素层面,对实现真实感图像绘制的OpenGL技术、以及采用到的Microsoft Speech SDK 5.0中的TTS引擎进行研究和实践; 3、系统架构层面,对本人提出的人脸语音动画系统(Grimace VTTS)的框架结构、以及适用于窄带网络下的可视通信系统(Grimace Chat)的框架结构进行介绍和分析; 4、具体算法层面,其中包含脸部肌肉的运动效果模拟方法、真人照片纹理贴图的优化算法、建立发音口型库和脸部表情库的方法、过渡帧的插值算法、运动混合与协同发音的算法、表情与语音动画叠加的方法、以及系统中实现动画口型与合成发音同步的方法等; 5、系统实现及应用层面,将详细介绍原型系统—“Grimace VTTS”和“Grimace Chat”的开发技术、系统功能、使用方法和应用场景; 6、系统性能评价层面,将介绍人脸动画系统的主观评价结果,并首次对系统开展客观性能的评测,其中包括动画绘制帧率、函数的运行性能分析等; 7、系统运行要求和工作展望层面,将介绍当前原型系统运行时对软、硬件平台的要求,同时对Grimace系统的发展做出展望,并将提出参考性建议。
其他文献
目的:探讨集束化护理对重症医学科肠内营养治疗患者的影响.方法:将自2016年1月至2016年10月在我院重症医学科进行救治的61重症患者作为研究对象,对患者在肠内营养治疗时采用
目的:对护理干预类影响风湿性关节炎患者疼痛的影响进行探讨.方法:选取2015年2月至2016年2月我院收治的类风湿性关节炎的患者100例作为研究对象,并根据其所使用的护理方法,将
目的:探讨临床路径的干预对十二指肠溃疡出血患者临床效果.方法:我院住院部十二指肠溃疡出血患者共100例,对患者进行随机分组处理,观察组与对照组人数均等,每组各为50例.其中
本文对七号信令集中监测系统技术进行了研究。随着交换技术和计算机技术的发展,我国通信网的建设日新月异。目前,七号信令网已经是我国程控交换网的一个重要组成部分,是支撑电话
目的:探讨术前干预对成人牙科焦虑症的影响.方法:从我院口腔科2014年1月~2016年10月收治的牙科焦虑症患者中选取106例进行研究,均为成人,随机分为两组,每组53例;对照组不给予
本论文的研究背景是网络的安全状况受到越来越多的威胁,病毒蔓延,黑客攻击日益频繁,黑客软件泛滥,这些都严重威胁着信息的安全状况。文章从TCP/IP协议本身入手,分析了协议本身的脆
目的 观察并讨论应用护理干预在盆腔炎患者中的临床护理疗效.方法 选取2014年6月~2016年6月来本院治疗的96例盆腔炎患者展开回顾性分析,随机分成两组.给予对照组患者临床常规
目的:分析并探讨中西医结合康复护理在脑中风患者急性期临床效果.方法:随机选取我院2015年9月~2016年6月收治的48例脑中风患者,并对半分为观察组与对照组,予观察组实施中西医
红外成像系统利用目标与环境的红外辐射差异成像,具有温度灵敏度高、动态范围大、透雾能力强、可昼夜工作等多种优点,在军事和民用领域均获得了广泛的应用。但与可见光图像相
目的:探讨早期康复护理对急性脑血栓患者临床疗效的影响.方法:回顾性分析安徽省合肥市第八人民医院2015年1月至2016年7月期间收治的68例急性脑血栓患者的临床资料,采用数字单