基于神经网络的语音翻译关键技术研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:boyanfang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着经济全球化与互联网技术的飞速发展,跨语言的沟通以及信息传递成为学术前沿研究、企业持续发展的必要基础。因此,如何协助单语种用户实现低成本、快速、高质量的跨语言无障碍交流成为了语音翻译的研究目标。语音翻译通常由语音识别、面向口语的机器翻译、语音合成三步串联而成。其中,面向口语的机器翻译是语音翻译的重难点,也是近年来语音翻译领域的研究热点。在实际的语音翻译系统中,语音识别之后的句子并没有标点符号进行断句和停顿,表达方式含较多省略、重复、甚至含混不清的语言现象,导致语音翻译中出现较多非规范句子,以及句子中存在的未登录词造成的翻译歧义性,都是当前语音翻译中面临的困难。因此,翻译模型对语音识别输出语句的容错能力、理解能力及自适应能力,对语音翻译系统的性能有着决定性作用。  本文以提高机器翻译质量为核心,旨在通过解决面向语音的机器翻译中的关键问题来提升语音翻译的整体性能,将从未登录词翻译、语音识别后文本的标点恢复以及不流畅检测等方面展开研究。具体研究内容如下:  1.提出了一种类别敏感的复制神经网络机器翻译模型。在机器翻译中,未登录词一直是一个难以处理的问题,而命名实体的翻译尤为困难。本文针对机器翻译中的命名实体问题,设计和规整了常用的命名实体类别,并收集整理了命名实体语料。为了提高模型对未登录词的翻译能力,本文借鉴了复制神经网络的思想,对源语言端出现的未登录词直接进行复制。为了更好地判断网络中需要复制的词语,本文将实体类别信息引入模型。该方法将输入文本中的(实体)语义标签有效地融合到解码端,通过解码端的类别门控单元输出的概率来调节最后目标词的输出概率,在一定程度上缓解了由于词表受限带来的未登录词无法被有效训练的问题。本文在相关任务的数据集上进行了充分的实验,结果表明所提方法能够有效缓解未登录词问题。  2.提出了一种基于混合注意力机制的字符级别机器翻译模型。为了解决机器翻译中的未登录词问题,该模型以字符级别的文本序列作为输入,采用双向门控循环单元网络对其进行语义编码,并通过模型内嵌的自适应分词器获取词级别的语义向量,然后将字级别的编码向量和词级别的编码向量融合成一个字词混合的上下文向量,从而增强了模型的语义表达能力,最后基于该字词混合的注意力进行解码。由于不需要第三方分词器进行预处理,该模型实现了真正意义上的端到端翻译。NIST中英翻译任务上的实验结果表明,本文提出的字词混合模型能有效解决机器翻译中的未登录词问题,并提升翻译性能。  3.提出了一种基于多目标自注意力机制的标点恢复模型。传统的序列标注模型并不能很好地处理连续标点问题,本文将标点恢复任务转化成机器翻译任务,提出了一种生成式的多目标自注意力模型对其建模。与传统的自注意力模型相比,该模型最大的不同在于引入了多目标学习策略,同时学习标签信息和文本信息,并在解码过程中采用限制性解码算法,一方面将目标端的输出单词约束在源语言中,确保了目标端与源语言端的文本序列的一致性,另一方面利用标签分类器进行输出决策,可以方便地根据上下文语义信息输出连续标点,从而解决了连续标点恢复问题。该方法不仅在IWSLT数据集的单标点恢复任务中取得了最优结果,而且本文还验证了该方法在连续标点恢复任务中的优越性。此外,本文将标点恢复模型应用于实验室自建的机器翻译系统,发现性能得到明显提升,进一步说明该方法的实用性。  4.提出了一种半监督的不流畅检测模型。本文将不流畅检测任务转化为翻译任务。首次引入基于自注意力机制的编解码网络对其建模,并提出一种多目标学习方法和受限解码算法,同时融合了字符序列和标签序列的信息。实验结果显示,本文提出的模型在Switchboard数据集上取得了最优结果。此外,为了充分利用大量现存的未经人工标注的规范化文本数据(如新闻语料),本文引入权重共享策略和对抗网络训练机制将多目标自注意力模型扩展成半监督模型,Switchboard公开数据集上的实验结果表明,该模型能进一步显著提升性能。
其他文献
智能交通信号控制系统是智能交通系统的重要组成部分,将在社会经济发展中发挥重要的作用。图像处理及模糊控制技术在智能交通信号控制系统中的应用研究,是智能交通系统的前沿研
句法分析是自然语言处理的重要任务之一。在机器翻译、自动问答、信息提取等应用系统中,句法分析能够为各系统提供句子结构上的信息。简单说来,句法分析是将一个句子映射到其句
本文对经典PSO算法以及在此基础之上的改进算法进行详细分析后,提出了两种改进方案:基于粒子速度反馈信息的混合粒子群算法(Hybrid Particle Swarm Optimization Based 0n Swar
金属制品行业对钢丝进行酸洗处理过程中,产生大量酸性废水,从工业废水治理及节约水资源的角度出发,对酸性废水处理是公司的重要研究课题。本文详细介绍了中和过程的原理、工
飞行机器人是一个极具挑战性的多学科交叉的前沿性研究课题。作为空中机器人的无人驾驶直升飞机,在军事上可用于侦察、监视等,在民用上可用于大地测量、遥感等。目前,美国、日本
由于信息化程度的提高,越来越多的信息化系统应用到各个与电力部门相关的单位,然而,抄表模式在这么多年仍然没有发生什么大的变化,目前的抄表方式仍然是以人工抄表为主。这种抄表模式不仅花费大量的人力物力,更严重的是不能保证抄表数据的及时性、准确性。本文在针对现有的人工抄表、有线抄表、无线抄表模式进行分析比较的基础上,提出了一种采用ZigBee技术进行无线抄表的解决方案。无线抄表是指采用近距离无线通信技术和
近来,时间序列相似性挖掘越来越受到诸多学者的关注和研究。它不仅是时间序列数据挖掘的重要工具,而且也是其他知识发现应用,诸如聚类、分类和关联规则发现等的基础。相似性挖掘
行为识别是计算机视觉研究领域的一个重要分支,在无人驾驶、人机交互、运动分析合成、智能视频监控以及基于内容的视频检索等领域具有广泛的应用前景。其研究内容主要是利用机
近年来,复杂机电系统,特别是移动机器人、地面/水面/水下空中以及空间无人平台等,对高性能控制系统提出了迫切的需求。对控制系统的设计而言,这类系统的共性特点可以归纳为两方面
学位
本课题主要研究基于ARM和Linux技术的网络实时监控服务器平台的设计和实现方法。系统在传统监控系统的基础上,将无线传感器网络引入监控系统,以形成统一的多元化监控平台.系