论文部分内容阅读
发音过程可视化是指将发音过程中发音器官的运动情况形象的展示出来。发音过程可视化可以应用在很多领域,例如语言学习领域,向世界各国传播汉语符合国家的战略需求,是增强国家“软实力”的重要途径,国家汉办已经在全球设立了多个孔子课堂,但仍然难以满足4000多万海外汉语学习者的需求,师资力量缺口巨大;另外,在言语矫正领域,我国有数以千万计的言语障碍患者,发音过程可视化技术可以通过视觉反馈帮助患者更好地进行言语矫正。针对以上的背景,本文提出了一种使用中文电磁发音记录仪(EMA)数据来驱动三维生理模型的方法来实现中文发音过程可视化方法。首先,数据采集方面。一方面,我们建立了涵盖30个中文音素的EMA数据库,然后开发了一套数据标注软件对EMA数据库进行了音素级别的标注,并使用声学参数和发音空间参数分别进行了数据筛选。另一方面,针对三维生理发音模型,为了涵盖整个发音空间,我们设计了近15万个肌肉组合文件,并将这些文件输入到三维生理模型中,得到了相应的发音数据。其次,在将EMA数据和三维模型数据做映射比较之前,我们使用Thin-plateSpline方法调整了坐标系,并通过对比中文中性元音[]音的EMA数据和三维模型的休息状态的数据,得到了映射方程;同时,为了验证方法的严谨性,我们针对模型舌面前部和后部的关系设计了实验,证明了只采用舌面前部的信息进行分析的方法是可行的;另外为了验证方法的准确性,我们针对[a],[],[],[i],[o],[u],[y]这7个元音,把与他们最佳匹配的三维模型和真实的MRI数据进行了比较,分析结果显示两者之间的平均误差为0.21cm,这证实了我们方法的准确性。最后,我们提供了音素级别和音节级别的可视化演示系统,同时为了方便使用者使用我们的可视化系统进行言语学习和矫正,我们还开发了一套基于Struts+JSP架构的Web版的可视化系统。