语言层先验知识对若干自然语言处理任务中神经网络模型的影响研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:jealy0717
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的发展以及计算机硬件的更新,神经网络模型在最近几年发展迅速,已经被广泛应用于图像识别、语音识别等领域,并且应用已经较为成熟。在自然语言处理领域中,神经网络同样也是前沿热点。在此之前,自然语言处理任务大多对自然语言处理方面的知识要求较高,尤其是使用规则的方法,其要求更加高。而基于统计的自然语言处理方法虽然不需要像基于规则的方法对于研究者有较高的语言学要求,但仍然需要具备自然语言处理的各种知识。但在使用神经网络模型处理自然语言处理任务时,并不需要很多自然语言处理各种任务的知识。而是首先使用词向量来表示所输入的文本,再使用神经网络模型提取文本中的特征来完成自然语言处理任务,这只需了解神经网络的知识即可完成大部分自然语言处理的任务。然而,使用神经网络模型处理这些问题时虽然可以适应于各种任务,但是其效果很难超过传统方法,使用神经网络这种模型的原因更多的是在于其简单易用,但其效果只是接近或者达到传统方法。其部分原因很可能是在神经网络模型中加入先验知识还比较少,直接从文本提取特征并未达到预期效果。因此本研究探究语言层先验知识对使用神经网络模型的自然语言处理任务的影响。对于不同任务,我们比较不同先验知识以及不同的先验知识输入位置(不同的先验知识输入位置主要针对机器翻译任务)对于神经网络模型的影响。我们在自然语言处理基本任务、文本分类和机器翻译三类任务上进行了实验。比较发现,在部分任务上,不同的先验知识对于不同的神经网络模型的影响是不同的。同时,在部分任务上使用合适的神经网络模型,加入恰当的先验知识,可以加快模型收敛,提高模型效果。
其他文献
期刊
在道路桥梁工程中,裂缝问题是一种常见的问题,但是导致道路桥梁出现问题的原因却是有许多,因此要想保证道路桥梁工程的施工质量,就必须对造成道路桥梁出现裂缝的原因进行详细
8月6日,商务部网站发布“商务部2014年第54号公告:商务部批准《便利店分类》等35项国内贸易行业标准的公告”,由全国库存折扣商品专业委员会承担起草的行业标准项目《库存商品易
文章基于云南省历年交通发展数据,运用时间序列指数平滑模型对2019~2025年云南省交通运输行业科技进步贡献率进行了定量预测,得出预测值,在此基础上对预测结果进行总结分析。
道路桥梁是否能够在后期安全运行由施工质量决定。因此,施工过程中所导致的的一些问题应当引起我们注意,其中所出现的最为典型的问题就是混凝土裂缝问题,裂缝严重威胁道路桥