预标准化Transformer在乌英机器翻译中的实现

来源 :小型微型计算机系统 | 被引量 : 0次 | 上传用户:anbao01
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能技术的高速发展,基于神经网络的机器翻译技术愈发受到人们的重视.然而,限于有限的数据资源,基于该方法的小语种翻译效果并不理想.乌尔都语作为印度和巴基斯坦的官方语言被广泛使用,实现它与英语之间的翻译模型具有重要意义.本文基于编码器-解码器框架,提出了一种预标准化Transformer的乌英机器翻译模型.该模型在基准Transformer模型上增加了预标准化层,保证数据分布一致的同时避免发生梯度消失.实验采用BLEU作为评价指标.实验表明,在少量乌尔都语与英语平行语料库的基础上,本文提出的基于预标准化Transformer的乌英机器翻译模型能够取得较好的结果.与基准Transformer模型相比在BLEU值上有了一定的提高.
其他文献