基于汉语Talking Head模拟研究与实现

来源 :武汉理工大学 | 被引量 : 0次 | 上传用户:fuzaifeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于社会经济的飞速发展,生活与工作节奏的加快,精神压力的剧增,导致人们患各种疾病的风险大大增加。而言语认知障碍是聋儿和脑卒中、自闭症等多种疾病患者最为常见的症状。针对构音、发音困难的计算机言语康复训练主要利用的是Talking Head(三维虚拟头像)发音运动模拟技术。因此,可透视地呈现内外部发音器官运动的Talking Head模拟具有重要的意义。它能帮助聋儿等病人从视觉上感知并学习正确发音动作,有助于患者进行言语认知恢复训练。此外,还可辅助外国人学习中文。本文以电磁发音捕捉仪和语言发声空气动力学系统等设备的采集数据为基础,以狄利克雷自由变形算法为核心,根据唇部和舌部的发音器官特点分别提出辅助控制点的计算方法,实现Talking Head发音器官模拟。然后选取合适的流体模拟方法来实现气流的模拟。具体研究内容和创新点如下:(1)对采集的实际发音过程中发音器官运动和气流变化的数据加以分析。通过量化分析不同音节由于发音方式不同(塞音、擦音与塞擦音;送气音与非送气音)而产生的气流量和气流持续时间的差异,证实了使用气流来区分易混淆辅音发音的可行性。可以将气流作为一个特征添加到Talking Head模拟动画中。(2)设计Talking Head的变形方案。依据狄利克雷自由变形算法,结合三维头像模型的区域划分规则,提出了Talking Head的嘴部、舌部控制点的计算方法和一种新凸包体积计算方法。同时基于半拉格朗日方法制定了发音气流模拟的实现方案。(3)实现并验证一个具有友好交互操作的Talking Head。Talking Head完成了一个灵活的对外接口,在输入方面,它能够读取电磁发音动作捕捉仪和语言发声空气动力学系统的数据进行动画的模拟;在输出方面,可以观看任意音素和音节的发音动画。通过实验对比Talking Head模拟和真人的发音动作,表明本研究的Talking Head模拟符合实际发音情况;依据Talking Head模拟动画进行教学实验,验证了Talking Head模拟的实用性和有效性;在发音动作相似的音节,通过实验也证实模拟气流可以增加音节之间的辨识度。
其他文献
通过对老运粮河流域污染物产-汇-排的调查以及河道水质的监测研究老运粮河水质时空变化规律,分析发现脱氮是老运粮河治理的主要任务。综合考虑老运粮河治理需求,针对老运粮河
表面肌电信号中含有丰富的与神经系统相关的信息,所以常用来作为康复设备的控制信号。传统的基于模式识别的控制方式存在一些缺陷:第一,模式识别只能实现离散的控制,而人的运
魏晋时期是文字由隶书演化为楷书的关键时期,晋初的《荀岳墓志》正是这个时期的重要代表之一,是研究西晋隶书楷化的重要史料。《荀岳墓志》又称为《荀岳暨妻刘简训墓志》和《晋中书侍郎荀岳墓志》,该志四面均刻有文字,碑阳有明确的界格,结体严紧、字法规范,有楷书的结体更带有汉代隶书燕尾的特点,其用笔、结体、章法等方面都具有独特的美感。《荀岳墓志》1917年出土于偃师县西二十里坟庄。《荀岳墓志》于1978年夏季武
普洱“绝版油印套色木刻”,简称绝版木刻,是普洱市级非物质文化遗产之一,为了更好的对其实行“生产性保护”,研究绝版木刻的产业化发展意义重大。基于此,本文从公共管理的视
近些年,随着遥感对地观测技术中的快速发展,光学遥感成像和无人机航空影像技术日趋成熟,为海洋目标检测和识别提供了极为丰富的数据源,遥感图像中的舰船检测技术在军用和民用
植物生长发育需要吸收多种矿物元素,这些矿物元素(氮、磷、硫、铁、镁等)不仅是有机物的组成部分,还参与合成这些物质的酶中如铜、锌、锰和钼。显然,矿物元素不仅决定着有机
随着社会的进步和汽车工业的快速发展,汽车在我们的日常生活使用中越来越广泛。我们对乘车的舒适性也有了更高的要求,对汽车空调系统的控制与研究也越发也逐步加深。尽可能地
世界范围内的能源短缺和环境污染的压力,使电动车辆的发展日益迅速,在全世界范围内都有巨大的潜力,电动汽车已成为21世纪汽车工业的重要发展方向。研究热点主要集中在电能分
研究背景和目的非支气管性体动脉(Non-bronchial systemic artery,NBSA)是咯血血管的重要相关动脉,有效的介入栓塞能巩固咯血治疗效果,降低近期复发率。为了解不同解剖分布的
新课程改革以来,国家一直重视学生的能力培养。教育部提出要发展各学段学生的核心素养,重视学生的问题解决能力。《普通高中地理课程标准(2017年版)》对于地理课程实施与教学方式改革明确提到要重视问题教学。《义务教育地理课程标准(2011年版)》也强调让学生体验解决地理问题的过程,逐步掌握分析和解决地理问题的方法。这些都体现了对培养学生地理核心素养的重视,当前急需解决的问题是如何提高学生的问题解决能力。