跨语言的端到端濒危语言语音识别研究

来源 :北京工商大学 | 被引量 : 0次 | 上传用户:truebug
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前国内外语音识别技术多数是依赖于大量的数据资源,比如汉语、英语等大语种的语音识别效果已达到人类听写水平,但对少数民族语言进行语音识别仍是语音界研究的热点问题和面临的重要挑战之一。濒危语言是指使用人数越来越少的、即将灭绝的语言,其中多数语言没有文字,以口语的形式存在。濒危语言从语音识别角度属于低资源语言语音识别,濒危语言语音识别研究可以帮助语言学家完成对濒危语言的标注和保护等工作,具有重要的理论意义和应用价值。本文主要针对的濒危语言是土家语,首先对濒危语言土家语语音数据进行降噪处理和特征提取,然后应用跨语言和迁移学习的方法进行端到端的声学建模,最后在端到端声学模型中加入多头注意力机制,有效地降低了濒危语言语音识别对语言模型的依赖性。具体研究内容如下:(1)针对濒危语言土家语语音数据带有复杂环境噪声的问题。采用基于改进深度卷积生成式对抗网络的降噪方法对濒危语言语音进行处理,并与主流降噪方法进行对比,实验结果表明本文提出的方法降噪效果较为明显,为下一步土家语语音特征提取和语音识别模型建立,奠定了稳定的基础。(2)针对濒危语言数据特征稀疏的问题。本文利用卷积的不变性可以克服语音信号本身多样性的原理,提取包含更加丰富信息的高维卷积特征,并与传统语音特征Mel倒谱系数做了对比,以土家语语音为例的实验结果表明语音高维卷积特征的频域能量变化较小,并且静音段能量变化明显。(3)针对濒危语言语音数据较少的问题。从濒危语言土家语的国际音标标签层角度考虑,以汉语语料作为土家语的扩展能够有效解决土家语语料不足的问题,构建跨语言语料库并建立汉语和土家语统一的国际音标字典;利用双向长短时记忆网络对土家语和汉语完成共享隐层权重训练,并通过端到端的方法实现对土家语的自动语音识别功能;利用迁移学习方法,对跨语言的端到端土家语语音系统进一步建模,实验结果表明,相对只使用土家语语音数据作训练的模型识别错误率下降了2.11%,因此该方法具有可行性和有效性。(4)针对难以建立土家语语言模型的问题。通过语音时域伸缩技术改变土家语口语词汇语速实现对语料进行扩充,尝试了对Listen,Attend,and Spell(LAS)模型进行改进,从而将其应用于土家语语音识别中。在结构方面引入一种多头注意力机制,大幅度降低了对语言模型的依赖性;在优化方面,探索了同步训练、预定采样、标签平滑和最小误差率,实验效果表明濒危语言识别率得到一定的提升。
其他文献
本研究的主要目的是为了使吉首市各初中学校能够正确、科学地进行体育课堂教学内容选择,探讨民族因素融入体育课堂的现状。实际上,本文是在探讨一个老问题,即“教什么?”的问题。本文采用文献资料法、访谈法、问卷调查法、数理统计法、逻辑分析法对吉首市初中体育课堂教学内容选择的相关问题进行了研究,并得出以下结论:1、体育教师队伍经验丰富,大部分为男教师,对《新课标》有一定的了解,但是,理解不够深刻;体育教师的专
有限元法(FEM)是非常重要的数值模拟方法之一,在力学,物理,电磁问题等诸多实际的领域有着很广泛的应用,也取得了非常好的的实际应用效果。然而,工程实践中存在着大量的非线性问题,
煤矿在水库下进行开采活动不仅威胁到井下安全生产,同时对地表水体及水库堤坝等设施也造成了不同程度的影响。由于水库下各类地质条件复杂,影响开采过程的因素较多,且个别因素具有突变性特点,实现水库下安全绿色开采对开采技术、开采方法及伴随开采过程的监测预计等工作都提出了更高的要求。本文以某煤矿3301工作面水库下进行开采活动为研究背景,首先对水库下开采安全性进行分析。根据工作面地质采矿条件,采用经验公式法、
超图的Lagrange极值在图论中占据者重要位置,同时它在现实生活中也有着众多应用.例如,最优化控制,数学模型建立,生物化学的研究都起到重要的作用.所以,对于超图的Lagrange极
随着建筑行业的快速发展,如何对居住建筑的工程造价进行快速、准确的估算,成为一个日益受到关注的问题。实现居住建筑的工程造价快速估算,可以为项目的可行性研究等提供重要支持。本论文在对国内外造价估算的方法进行了对比分析基础上,总结了其合理性及不足之处,提出本文的研究对象、研究方法和研究内容。首先,在分析居住建筑工程造价的相关理论基础上,通过对文献的分析,总结影响居住建筑工程造价的因素。主要分为建筑特征类
改革开放以来,我国经济发展水平不断提高,全面建成小康社会进入最后攻坚阶段。人民群众在物质生活提高的同时,精神文化生活的需求也进入了美好新时代。志愿服务活动即是丰富多彩的精神文化建设活动之一,近年来,我国青年志愿服务事业迅猛发展,极大地推动了志愿服务精神深入人心,大学生群体是社会志愿服务的主体,年轻的大学生们用激情和奉献践行志愿服务精神,用奋斗和筑梦谱写青春的赞歌。随着大学生志愿服务实践活动的深入展
本文主要介绍了一种基于完全匹配层,解决美式期权定价的有限差分法,并将其应用于Black-Scholes模型和不变方差弹性(CEV)模型中。众所周知,美式期权是一类应用广泛的期权,它具有可
近年来,国内证券市场量化投资逐步兴起,已成为机构投资者投资决策时的重要工具之一。受制于市场不成熟,国内证券市场爆发过数次大规模的股灾,股票市场走势呈阶段性分布,这对
当前社会,随着人们对生活质量要求的提高,人们对有机绿色食品的需求越来越大。有些商家只顾个人利益,使用劣质食材,以次充好,导致盗用品牌现象时有发生。这种行为不仅严重威胁消费者身体健康,使得消费者无所适从;同时,部分农村地区真正的绿色农产品,特别是畜禽产品也无法证明自身,获得应有的品牌定价。本文结合农村精准扶贫工作实践,利用物联网技术,搭建品牌活禽农产品食品原材料溯源系统,记录食材到食品的轨迹,对原材
城市道路交通的快速发展提高了社会总体经济水平,为人们的日常生活提供了有利出行条件,但与此同时,行人的交通环境也愈发复杂。近年来,随着城市人口的进一步增加,短时间内某一场所聚集大量人流和车流的现象并不少见,例如各类大型城市活动、高峰期旅游以及各类自然灾害及突发事件,对道路交通运行、道路环境、社会秩序等造成了一系列的危害,增加了城市交通压力和突发事件的可能性,严重时更会危害大众的财产生命安全。当灾害发