随着三维数字虚拟人的发展,语音驱动三维人脸动画技术已经成为虚拟人交互的研究热点之一,在虚拟现实、电影制作、游戏娱乐等方面有广阔的应用前景。语音动画具有自动化、批量生产、成本低等优点,但人脸的生理结构复杂,人们对面部运动和视听同步的细微异常非常敏感,因此与语音情绪一致且表达准确自然的表情是真实感语音动画合成的关键。本文设计基于Blendshapes的语音驱动三维人脸动画方法,分别从基于不同语音情绪的三维人脸控制参数预测、基于样例表情的表情基构建、基于Blendshapes方法的语音动画合成三方面对语音驱动三维人脸动画技术深入研究,研究内容如下:1.设计并构建语音到视觉映射网络模型。不同语音情绪预测三维人脸控制参数时,要保证眉眼、脸颊、嘴角等表征情绪的三维人脸控制参数符合语音情绪的表达,因此提出CSE-Mogrifier Net模型。首先利用语谱图构建语音情绪空间,确保语音情绪信息的丰富性;其次构建基于SENet通道注意力机制的CNN语音特征提取网络,从通道的角度,对语音帧级别的频域和时域特征加权,增强帧级语音情绪细节特征表达能力;最后构建基于Mogrifier LSTM交互运算的Bi LSTM音视觉映射网络,从交互的角度,增强语音情绪与三维人脸控制参数的时序关联性建模能力,提高三维人脸控制参数的精度。该方法不需要借助韵律特征等表征情绪的语音特征,能够实现多种语音情绪的三维人脸控制参数预测,在保证动画流畅度的同时,提高三维人脸模型运动的空间精准性。2.设计并构建表情迁移网络模型。利用样例表情构建基准身份的表情基时,要保证表情基在眉眼、嘴角等细节部位的迁移形变精度,因此提出Sim AM-GCNet模型。首先利用形变梯度算法提取样例表情特征;其次构建基于Sim AM的GCN表情迁移网络,在不增加额外子网络的前提下,从神经元的角度增强样例表情到基准身份迁移的表情细节特征;最后使用迁移得到的基准身份的表情特征,利用最小二乘的方法构建基准身份的表情基。该方法不需要借助人工标记的特征点,自动化生成与样例表情语义信息一致的基准身份表情基,实现基准身份的Blendshapes构建。3.合成不同情绪下的语音动画。利用三维人脸控制参数合成动画时,要保证面部各部位的协调运动以及动画的流畅度,因此使用Blendshapes方法完成基准身份模型的运动控制。首先使用中值滤波对控制参数序列进行平滑处理;然后构建基准身份模型,并使用第二部分的方法构建基准身份的Blendshapes;最后使用Blendshapes方法控制基准身份模型不断运动,合成三维人脸语音动画。设计并完成了实时性实验、语音情绪与表情的关联性实验、动画重定位实验、说话人独立性实验,评估合成方法的实用性及动画实现效果。通过实验表明,本文提出的语音驱动三维人脸动画方法,具有较高的真实感和拟人度,并且可以应用在实时场景中,有较高的实用价值。