基于关联记忆网络的多特征中文命名实体识别

来源 :四川大学 | 被引量 : 0次 | 上传用户:heeroyuyo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
命名实体识别任务的目标是定位自然文本中的实体并将其分类至预定义的类别中。命名实体识别任务一方面可以帮助阅读人员快速定位到冗长文本中的关键信息,另一方面它是其他下游自然语言处理任务的基础,高效的命名实体识别工具可以辅助其他的任务达到更好的效果。早期,解决命名实体识别问题采用的是传统的特征工程方法,这些方法都需要凭借经验定义大量的人工特征,不仅耗费大量的人工成本,还缺乏迁移性。随着算力的提升和深度学习技术的不断发展,深度学习方法在命名实体识别任务中得到了广泛的研究和应用。基于深度学习的命名实体识别模型自底向上可以分为3个部分,包括嵌入层、编码层和解码层。深度学习方法分别对这3个部分进行改进来提高模型的识别效果。这些方法与传统的特征工程方法相比有了效果提升,但同时也存在一些不足:一是大部分研究只引入单一的语义或者语法特征,使用单一类型的编码器来捕获命名实体识别所需要的特征,这不可避免的导致部分有用特征的缺失;二是大部分研究都没有考虑到实体类别标签信息对命名实体识别模型的影响,没有建立实体类别标签和序列表示之间的联系,忽视了实体类别标签信息对命名实体识别模型的重要性。针对上述两个问题,论文提出了多特征中文命名实体识别模型和基于关联记忆网络的命名实体识别模型,并研究了多特征融合对命名实体识别模型的影响。本文主要的贡献点如下:第一,提出多特征中文命名实体识别模型。本文指出目前编码效果最好的Transformer编码器捕获句子树形句法特征的能力不足,在编码器的底层增加了有序神经元的LSTM网络(ON-LSTM)对句子进行混合编码,隐式的捕获句法层级信息。同时,本模型还在嵌入层补充了多粒度的语义信息,包括偏旁、字符和词典,研究了多种语义和语法信息对中文命名实体识别模型的影响。第二,提出基于关联记忆网络的命名实体识别模型,使用关联记忆网络来引入实体类别标签信息。该方法首先设计句子距离的度量方式来进行记忆句子的选择,使用预训练语言模型对原句子和记忆句子进行上下文的字符编码,再计算两种句子每个字符之间的相似度来构建注意力矩阵,对记忆句子的标签序列进行标签嵌入,最后将得到的标签嵌入与注意力矩阵相乘,从而引入原句子每个字符对应的实体标签信息。本文对提出的两个模型在不同领域,不同粒度的中文命名实体识别数据集上进行了验证和分析。在多特征中文命名实体识别模型的实验中,证明使用ON-LSTM和Transformer的混合编码器可以有效提高模型的识别效果,并分析了多种语义和语法特征对中文命名实体识别模型的影响。在基于关联记忆网络的命名实体识别模型的实验中,验证了本文引入实体类别标签信息的方法的有效性,并对模型的各个部件进行了消融实验。
其他文献
氧化铝陶瓷片是军工领域中爆炸箔的重要功能器件,其工作可靠性具有十分重要的意义。由于陶瓷材料本身的结合方式会导致韧性较差,加之后续工艺可能会涉及到的机械冲击、酸碱腐蚀、温度冲击等一系列复杂加工流程,会使氧化铝陶瓷片面临如高强度、脆性大、均匀性差等可能对其工作性能造成影响的问题。为了提高以氧化铝陶瓷片作为关键组成的军工器件的可靠性,需要对成型氧化铝陶瓷片进行加工工艺质量检测。由于氧化铝陶瓷片加工工艺流
从20世纪80年代开始,CAD技术进入了高速发展阶段,其人机结合的设计方法大大地提高了企业的设计效率。连接器作为电器元件间的连接件,起着连接或断开电流或者信号的作用,广泛地应用于各种电气线路中。当企业在运用CAD技术对大量相同类型不同规格的连接器CAD图进行重复性绘制时,绘制过程繁琐复杂、易出错以及耗时等问题就会接踵而至,严重地影响到了连接器CAD图的绘制效率以及企业的经济效益。因此,如何有效解决
液压挖掘机的设计过程则是一个知识密集型的过程,在设计的各个阶段都需要大量的相关知识予以支撑,而这些所需的知识种类繁杂多样且相互关联。然而目前挖掘机的设计工作,依然大量的依靠设计人员自身的设计经验、现有的设计文献等手段进行设计计算,这不仅不利于知识的重用也存在重复计算,工作量大、效率低下等问题。同时,如何有效的管理这些知识,是提高企业创新竞争力的主要研究内容。为了解决以上问题,本文根据液压挖掘机的设
经济与资源全球化现象以及以3D打印为代表的智能制造技术发展使得客户对于零件的个性化定制提出了更高的要求,结合互联制造的时代背景,以网络为基础的协同工作环境也为零件远程定制提供了更多的可能性。基于远程协同的零件定制系统平台应运而生,为客户和企业服务商之间搭建了信息互通的桥梁。目前现有的3D打印零件定制系统平台多数对于普通用户的友好度不够,并且以线性的单向需求传递为基础来进行反馈,缺乏高效率的协同设计
地质灾害监测关键设备及采集数据处理是整个地质灾害监测过程中的关键步骤,其核心是解决地质灾害防控过程中的数据采集、数据传输、数据处理和预警模型的研发。由于地质灾害的监测是一个影响因素众多、监测环境复杂、并且需要进行长期监测过程,所以建立一套高可靠的地质灾害信息化管控系统十分必要。本文主要实现基于GIS的地质灾害监测设备及系统研发。在传感器将数据采集完成后,将数据通过无线传输到四川省地质灾害数据中心。
抑郁症是一种的常见精神疾病,重度抑郁症甚至导致患者自残或自杀,并且自杀事件的发生已开始呈现出低龄化趋势,严重影响个人、家庭和社会。临床证明,提早发现抑郁症并进行有效的心理干预和药物治疗,能够缓解甚至治愈抑郁症患者。然而,抑郁症的病因繁复多样,导致临床诊断困难,误诊、漏诊率较高。临床发现,抑郁症患者在语音、文本、表情、生理等模态的数据上都表现出一定的特异性。针对抑郁症多模态数据,建立计算机辅助诊断模
每年由于人口老龄化、车祸以及肿瘤等引起的严重骨组织病损有上千万例,骨科临床亟需研发具有个性化尺寸特征以及优良骨整合效果的骨组织工程支架。骨组织工程支架的表面是宿主骨组织与植入材料相互作用的重要界面,是成骨细胞黏附、增殖、分化的主要场所,其对骨整合性和骨组织修复重建具有决定性的作用。本文利用选区激光熔化3D打印技术制备具有个性化宏观尺寸特征的骨科植入体,通过调控3D打印中的关键工艺参数,提出一种基于
近几年,人脸图像在视频监控和识别领域的应用越来越广泛,人脸图像数据显得更加重要。在获取人脸图像的过程中往往会产生模糊,其中最常见的是相机与人物之间相对运动造成的模糊,称为运动模糊。产生运动模糊的人脸图像会大幅影响监控与识别的效果。因此,去除人脸图像的运动模糊在计算机视觉任务中有着重要意义。在计算机视觉领域中,现有的人脸图像去模糊算法并没有针对运动模糊问题;而已有的去除运动模糊算法并没有针对人脸图像
关系抽取旨在识别文本中的成对实体的关系事实,被广泛应用于知识图谱构建和自然语言处理领域。与专注人工设计特征的传统方法相比,基于深度学习的关系抽取方法已取得了显著成果。但是,现有的这些关系抽取方法通常假定待预测的关系类别是一个封闭的关系集合,没有考虑需求的动态变化,不适用于实际的应用场景中。由此引出了对终身关系抽取的研究,也就是说,需要预测的一组关系可能会随着时间的推移而改变或扩大,同时我们无法在每
随着高通量测序技术的发展,生物信息数据已进入到EB量级的多元组学大数据时代。如何将生物信息大数据迅速转化为新知识,并能应用于进一步的研究中,则需要依赖于数据挖掘技术的运用。对于人类基因组的研究,有研究表明,在人类基因组中存在CpG岛这么一种特殊的DNA序列,它与人类基因表达调控密切相关,对于研究CpG岛序列在基因座上的分布、CpG岛序列的特异性、CpG甲基化编码与基因的关系及其功能相关性等是非常重