论文部分内容阅读
近年来,研究人员尝试根据发音器官的运动机制和原理来模拟或再现发音器官的运动,并将其用于语言学、临床医学和人机交互等场合。人类的发音器官主要包括舌头、嘴唇、牙齿、软硬腭、咽腔和鼻腔等。其中,舌头是最重要、最精细和最灵活的器官,舌头的运动在很大程度上决定了人说话时的发音变化。因此,针对舌头的生理学建模与仿真研究至关重要。过去,由于舌头生理数据的采集比较困难、再加上计算机仿真技术的发展相对滞后,如何在生物力学的意义上逼真地表现人说话时的舌头运动成为发音可视化领域的一大难题。因此,构建一个能反映真实生理特性的舌头模型,并通过其合成出语音同步的逼真动画是一项极富挑战性的研究工作。本文以还原逼真的舌头生理特性和合成高真实感的舌头动画为研究目标,构建了一个高精细的生理学舌头模型,并在此基础上构建了一个高真实感的舌头动画合成系统。本文的主要研究内容和创新点如下:1.对舌头相关的解剖学、生物力学知识进行了深入调研,提出了一种基于舌头的断层扫描数据和相关医学资料的解剖学建模方法,构建了一个拥有精确三维外观和内部肌肉结构的舌头几何网格模型。具体言之,首先根据舌头的断层扫描数据构建三维舌面网格模型,接着利用网格划分技术用稠密而规整的四面体对其内部进行填充,形成舌头的四面体网格模型。然后,使用一种新的交互式肌肉标记法对舌头肌肉的几何形状和肌纤维结构进行标记。据此,肌肉由分布于舌头内部的的四面体组合表示,而肌纤维则由肌肉内部各节点上的向量表示。仿真结果表明,该方法可以实现对舌头外观几何形状和内部肌肉结构的高精细模拟。2.对舌头的运动变形问题进行了研究,提出了一种基于有限元技术的舌头生物力学建模方法,该方法能够对舌头软组织的弹性特性以及肌肉运动特性进行精确的模拟仿真。该方法构建的舌头模型能够通过生理参数来驱动舌头模型发生变形进而合成出逼真的舌头动画。首先舌头模型整体被赋予一个非线性、准不可压缩性、各向同性和超弹性的材料属性,其次那些被标记为肌肉的四面体被额外赋予一个特殊的材料属性,以体现肌肉的主动和被动收缩特性。通过有限元分析计算,舌头模型的运动可以根据施加的肌肉激励来驱动产生。实验结果表明,本文的生物力学建模方法能让舌头模型有效地模拟舌头的弹性特性和其肌肉受激产生形变等生理功能,从而产生逼真的舌头运动。此外,鉴于舌头在发音过程中运动速度较快,本文充分考虑了针对舌头的动态特性的模拟仿真,通过将舌头肌肉的速度-张力关系嵌入到舌头肌肉的本构关系中,实现了舌头变形的准静态仿真和动态仿真。3.结合语音可视化的实际应用,根据上述舌头生理模型,构建了一个可由文本或语音驱动的舌头动画合成系统,该系统可以在目前舌头三维数据缺乏的情况下,通过二维舌头运动数据合成高真实感的舌头动画。首先利用舌头生理模型合成大量的舌头运动样本,并基于这些样本训练得到一个从肌肉激励到二维舌头轮廓的转换模型。然后,对X光二维舌头运动数据进行运动跟踪,得到与发音相对应的舌头刚体位移和舌头轮廓的局部变形信息。最后,利用训练好的转换模型,根据X光数据中的舌头轮廓局部变形逆向计算出与语音对应的肌肉激励。将计算结果输入到舌头生理模型,即可得到语音同步的舌头动画。