论文部分内容阅读
随着科技的发展,人们对电子产品智能化的要求越来越高,人类希望与计算机的交流更具人性化。在虚拟世界中,真实的再现人进行语言交流时候的面部尤其是唇部的动作成为一个重要的研究课题。无论是在游戏娱乐还是在远程通信等虚拟交流中,人脸动画技术的应用极大地方便了人们的交流。汉语发音的可视化需对人脸模型进行驱动,以产生与唇形同步的效果。本文以唇形可视化工具为基础,用文本作为驱动源,研究了汉语发音的唇形可视化处理方法。本文主要工作有以下几个方面:第一,在对汉语发音特点研究的基础上提出了中文视位划分的方法,依据音素将汉语发音过程分为15个视位,为唇形动画的实现提供了基础;第二,对输入文本进行了分析,从中提取了语音、拼音序列和时间等控制信息,研究了中文视位的时长分配,并提出了汉语发音唇形可视化的同步方法;第三,本文在人脸图像形变方法的基础上,抽取出预先录制视频中的视位样本结合光流法实现了二维人脸唇形动画的建模;其次基于Waters肌肉模型的基础上,提出了一种新的由参数控制的三维唇区肌肉模型,实现了三维人脸唇形动画的建模,在针对特定人的唇形动画建模上取得了较好的结果;第四,本文提出了基于BP神经网络的唇形动画合成方法,建立了依据汉语音素与视位之间的映射关系的BP神经网络模型进行学习训练,得到了非特定人的汉语发音的唇形同步动画。实验结果证明,本文所提的算法是有效的,能实现真实、平滑的汉语发音的唇形动画。