面向自然语言处理的注意力机制研究

来源 :北京邮电大学 | 被引量 : 12次 | 上传用户:ct32845359
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着全球进入信息时代,网络的盛行促进了数据的爆炸式增长。这些数据之中潜藏着巨大的利用价值。但是面对如此海量的信息,仅凭人力来分析已经是力有未逮。利用机器进行部分自然语言处理分析的需求越来越旺盛。不同语言的处理技术会存在一定的差异。中文分词就是中文自然语言处理重要步骤之一。进行中文分词任务的研究不仅在实际工程应用上有一定的价值,对于相关的其他自然语言处理任务也存在一定的借鉴意义。当前中文分词模型主要是基于循环神经网络的模型设计,存在着长距离信息交互学习能力有限、计算时间成本较高等不足。而基于自注意力机制的计算层可以在一定程度上解决这些问题。本文针对基于自注意力机制的中文分词任务进行研究,主要工作如下:第一,将自注意力机制进入中文分词领域,提出了基于自注意力机制的中文分词网络模型。该模型结合了卷积计算和自注意力计算两者的优势,能够同时兼顾短距离信息依赖和长距离信息依赖。实验结果表明,自注意力机制的引入使得中文分词模型系统的性能得以提升,并且相对传统的循环神经网络模型提高了计算速度。第二,通过对网络层参数学习本质的分析,提出了一种基于BERT预训练的中文分词模型。该模型通过基于自注意力机制的计算层在大量无标注语料数据上的预训练提升了网络对文本的表示能力,进而提升了模型最终的分词性能。该方法利用了在大量无标注数据上进行预训练,在少量有标注数据上微调的迁移学习思想,一定程度上规避了标注数据收集难的问题。实验结果表明,通过该方法能够非常有效地学习到文本在不同语境中的表示,进而有效地提升中文分词模型性能。论文的主要贡献和创新有:提出了结合自注意力机制以及卷积计算的网络模型能够提升在中文分词任务上的性能,并且可以利用并行计算来使得网络的计算时间大幅度减小;基于BERT预训练的网络模型能够对不同语境的相同字符给出不同的表示,进而大幅度提升中文分词的性能。
其他文献
30年改革开发的伟大成就让中国人民的整体生活水平踏上崭新的台阶,国民经济的持续稳定健康快速发展,为中国零售业的发展提供了良好的发展环境。中国的直复式营销行业作为零售
UPS的中文意思为“不间断电源”,是英语“Uninterruptible Power Supply”的缩写,它在计算机系统和网络应用中,主要起到两个作用:一是应急使用,防止突然断电而影响正常工作,
图像过完备稀疏表示是一种有效的图像表示方式,其编码机制与哺乳动物视觉系统的神经生理学原理相匹配。图像过完备字典表示包括两种模型:基于综合模型的稀疏表示和基于分析模型
北京作为中国的首都和政治文化中心,在经济、贸易等领域,肩负着引领全国各地落实科学发展观,实现可持续发展的重任。在全球倡导发展低碳经济的趋势下,协调好资源利用与社会建
在经济全球化的背景下,随着国际分工的深度推进,以产品内国际分工为基础的产品内贸易已成为目前国际贸易领域的一个新现象。中国劳动力人口众多、就业矛盾突出,充分就业是我
本研究根据学生参与理论和职业成熟度理论,利用"首都高校学生发展调查"追踪数据,基于自我主导性发展的视角,对大学生一年级到三年级的学业参与模式进行聚类分析,探讨不同特征
听证制度是行政程序法的基本制度之一。《价格法》以法律形式确立了价格听证制度,首次将听证制度引入我国的行政公共决策领域。广东最早率先实行价格听证,并在长期实践中不断
美国加州将再生水视为水资源的一种,并通过法律形式规定了加州卫生服务部、公共卫生部、水资源控制委员会和水利部在再生水利用方面的职责,因此,加州在再生水利用方面取得了
技术的发展促进了广告技术的出现,广告技术反过来又加速了技术的进步。在我国广告产业不断发展壮大的今天,广告技术活动起到了传播广告消费理念,促进商品销售的目的。随着科
FDI是英文Foreign Direct Investment的缩写,中文翻译为外商直接投资,FDI是将资金、技术和管理等因素融为整体的资源。在经济全球化的今天,几乎大部分国家的经济进步都或多或