【摘 要】
：
语音逆推是为了从语音信号中获取发音器官的运动情况,即实现从声学信号到发音器官运动的反转。到目前为止,由于受到发音器官运动数据的限制,实现一个说话人无关的语音逆推任务仍然是一项挑战。此外,当前大多数工作仅仅使用语音声学信号作为唯一输入信息,从而因为信息不足导致模型性能出现瓶颈。为解决上述两个问题,论文提出基于语音分解和辅助特征的多模态语音逆推模型。首先,为适应说话人无关的语音逆推,通过预训练语音分解
论文部分内容阅读
语音逆推是为了从语音信号中获取发音器官的运动情况,即实现从声学信号到发音器官运动的反转。到目前为止,由于受到发音器官运动数据的限制,实现一个说话人无关的语音逆推任务仍然是一项挑战。此外,当前大多数工作仅仅使用语音声学信号作为唯一输入信息,从而因为信息不足导致模型性能出现瓶颈。为解决上述两个问题,论文提出基于语音分解和辅助特征的多模态语音逆推模型。首先,为适应说话人无关的语音逆推,通过预训练语音分解模块,将语音声学特征分解为说话人身份特征向量和语义内容特征向量,作为新的个性化声学特征。其次,为进一步提高语音逆推模型的性能,提出一种全新的唇部辅助特征预测模块和音素辅助特征预测模块,基于语音分解模块得到的个性化声学特征来估计唇部特征表示和音素特征表示。最后,为增强这些特征表示之间的相关性,通过将个性化声学特征,唇部辅助特征和音素辅助特征进行转换,构建多模态特征融合模块。在三个公开数据集（MNGU0、MOCHA-TIMIT和HPRC）上的实验结果表明,在说话人有关的情况下,与仅使用语音特征作为唯一输入的最新技术相比,论文的方法将均方根误差降低0.25,并将皮尔逊系数提高2.0%。更重要的是,对于说话人无关的情况,均方根误差减少0.29,皮尔逊系数增加5.0%。
其他文献
研究目的:规律科学的运动干预具有改善成瘾的作用,但其神经机制尚未明。中脑腹侧被盖区（ventral tegmental area,VTA）多巴胺（dopamine,DA）能神经元的过度激活是成瘾的重要机制。尼古丁诱导的兴奋抑制失衡是VTA多巴胺能神经元过度激活的重要原因。本研究以VTA多巴胺能神经元兴奋抑制平衡为切入点,从整体行为学和突触可塑性角度,聚焦功能学研究,观察8周有氧运动改善尼古丁成瘾的
背景:CAI人群不仅会出现踝关节异常,同时也会出现近端的异常变化,如更低的髋周肌力、异常的臀肌激活和下肢运动学特征。而较低的髋关节等长外展肌力是男性足球运动员外侧踝关节扭伤的风险因素,髋关节运动学异常改变则有可能是初次外侧踝关节扭伤发展为CAI的预测风险因素。此外,研究发现踝关节扭伤更多的发生在步行、跑步、跳跃等动作中。目的:研究髋周肌力训练能否改善CAI人群在落地时异常的臀肌激活水平和下肢运动学
正电子发射断层成像（Positron Emission Tomography, PET）能直接观测活体内的生理生化过程，具有高特异性和高生化灵敏度。2004年，多电压阈值（Multiple Voltage Threshold, MVT）采样方法被提出，解决了PET系统中高速闪烁脉冲精确数字化难题，使得全数字PET的研制成为可能。数字PET技术以MVT为源头向着PET创新链的上下游环节延展，为关键材
研究目的:运动是调节高脂饮食诱发的机体能量失衡的有效手段。PPARγ是一个转录因子,它通过影响下游靶基因,在白色脂肪棕色化、促进脂肪细胞的分化、调节脂肪组织的脂质代谢、改善胰岛素抵抗和抑制炎症反应等方面均发挥重要作用。本研究采用免疫共沉淀（CO-IP）技术和质谱分析的方法,对PPARγ及其相互作用蛋白进行蛋白质组学分析,基于已知的通路,探究有氧运动对高脂膳食大鼠PPARγ蛋白其互作蛋白及可能通路的
王原祁是我国绘画史上里程碑式的人物,他在延续中国山水画传统的同时又对其进行创新性发展,此举与时下倡导的“守正创新”精神呼应。因此,本文以王原祁为例,从“守正创新”的角度出发,以其生平经历、绘画继承观、艺术创新性与相关艺术批评资料分析为入手点,试论“守正创新”视域下王原祁的山水画继承观与创新性,观测王原祁为中国山水画发展起到的现实意义和影响,并列举中国美术史发展过程当中同样具有“守正创新”精神的画家
随着未来电动汽车的大规模普及,电动汽车充电负荷的快速增长给配电网运行和规划带来了新的挑战。如何进行电动汽车充电负荷建模和量化分析充电负荷对配电网运行特性的影响,对未来配电网的优化分析具有重要意义。传统电动汽车充电负荷概率建模通常采用蒙特卡洛模拟方法,存在耦合参数多和计算耗时大等问题。在分析电动汽车充电负荷对配电网运行特性指标的影响时,传统概率性评估指标受到场景选择的影响较大,难以准确反映分析对象的
北京体育大学体育舞蹈代表队拉丁舞运动员近年来在国内外体育舞蹈比赛中屡次获得优异成绩,中国国家奥林匹克体育舞蹈代表队选拔赛中,入围前24名的选拔赛中,曾占据了三分之一的晋级名额,北京体育大学校代表队成员在2020年德国公开赛最高组别首次入围前48名,突破北京体育大学国际赛历史最好成绩,由此可见,北京体育大学体育舞蹈代表队近年来比赛成绩不断地提高与突破,其成功离不开教练员精心制订的年度训练计划。本文通
建设特色小镇是实施乡村振兴的重要环节,旨在促进农村一二三产业融合发展,推动城镇化、农业现代化协同发展。乡村振兴本质上是要解决农业、农民、农村领域的长期性问题,在农村绝对贫困人口脱贫摘帽后,对农村产业方面、人才方面、生态方面、文化方面、组织方面提出的新时代新要求,是农村发展和城市发展相融合的战略举措。特色小镇建设要求生产、生态和生活实现融合发展,多种功能同步推进,这和乡村振兴20字要求是一致的,乡村