论文部分内容阅读
MPEG-4是一个基于对象的多媒体压缩标准,允许将场景中的音频、视频对象(自然的或合成的)独立编码。MPEG-4中定义了“人脸对象”这样一个特殊的视频对象,通过脸部定义参数(FDP)和脸部动画参数(FAP)可以定制人脸模型,并使之产生动画效果。MPEG-4能够将人脸动画和多媒体通信集成在一起,并且可以在低带宽的网络上控制虚拟人脸。 TTS(Text to Speech,文本语音合成)作为MPEG-4中引入的一种有吸引力的合成语音编码技术,它与人脸动画的结合将具有广泛的应用前景。同时,MPEG-4为TTS合成器定义了一个应用程序接口,利用这个接口,TTS合成器可以为人脸模型提供音素和相关的时间标记信息,而音素可以转换成相应的口型,这将使得人脸动画和合成语音能够很好的结合在一起。 本文是基于我们实验室已有的研究工作,在仔细考察了人脸动画的研究现状之后,确定了“MPEG-4兼容的人脸语音动画系统及其在网络通信中的应用”作为自己的研究方向。在MPEG-4标准的范畴下把人脸动画与TTS合成语音集成在一起,不仅是项崭新的研究工作,而且它将在虚拟主持人、窄带的网络通信等中有着很好的应用。因此在研究的基础上,本人还开发出了“Grimace VTTS”和“Grimace Chat”这两个有应用潜力的原型系统。 本文将围绕上述研究方向详细的开展如下几个方面的讨论: 1、标准层面,对MPEG-4标准及其定义的“人脸对象”进行介绍和理解; 2、技术要素层面,对实现真实感图像绘制的OpenGL技术、以及采用到的Microsoft Speech SDK 5.0中的TTS引擎进行研究和实践; 3、系统架构层面,对本人提出的人脸语音动画系统(Grimace VTTS)的框架结构、以及适用于窄带网络下的可视通信系统(Grimace Chat)的框架结构进行介绍和分析; 4、具体算法层面,其中包含脸部肌肉的运动效果模拟方法、真人照片纹理贴图的优化算法、建立发音口型库和脸部表情库的方法、过渡帧的插值算法、运动混合与协同发音的算法、表情与语音动画叠加的方法、以及系统中实现动画口型与合成发音同步的方法等; 5、系统实现及应用层面,将详细介绍原型系统—“Grimace VTTS”和“Grimace Chat”的开发技术、系统功能、使用方法和应用场景; 6、系统性能评价层面,将介绍人脸动画系统的主观评价结果,并首次对系统开展客观性能的评测,其中包括动画绘制帧率、函数的运行性能分析等; 7、系统运行要求和工作展望层面,将介绍当前原型系统运行时对软、硬件平台的要求,同时对Grimace系统的发展做出展望,并将提出参考性建议。