基于深度学习的实体识别与关系抽取方法的设计与实现

来源 :广西大学 | 被引量 : 0次 | 上传用户:zhjie1977
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,命名实体识别(Named Entity Recognition,NER)和实体的关系抽取(Relation Extraction,RE)都已经成为自然语言处理(Natural Language Processing,NLP)领域的研究热点,也是知识图谱构建(Knowledge Graph,KG)的关键任务。命名实体识别用于从自由文本中识别出相应的实体,关系抽取旨在从文本语料库中提取两个实体之间的关系。随着中文命名实体识别和关系抽取研究的深入,在这两个任务中存在着诸多问题:(1)NER任务中常用的序列建模层网络双向长短期记忆网络(Long Short-Term Memory,LSTM)因其网络结构复杂速度较慢且缺乏可并行性。(2)基于双向编码器表示的Transformers(Bidirectional Encoder Representation from Transformers,BERT)模型解决了Word2vec等静态词向量不能解决的“一词多义”问题,但是其静态掩码的方式使预训练产生的语义表示仅仅是字级别,缺失词级特征。(3)在字符级别NER任务融合词义等信息是近年来研究的重点之一,但如何有效地对字词向量融合、在使用词汇信息的同时减少分词错误的影响也是一大难点。(4)简单的注意力机制对RE任务的性能提升有限,如何更好地利用注意力机制也是需要研究的方向。因此,本文主要研究通用领域下中文实体识别和中文关系抽取,分别用于改进NER任务和RE任务的效率。本文的主要研究工作如下:(1)在中文命名实体识别任务中,提出了一种融合动态掩码预训练与膨胀卷积网络的实体识别模型。首先,为了丰富句法语义信息,在预训练阶段引入基于动态掩码的Ro BERTa模型,动态掩码的训练机制能更好地对文本中的词义语义信息进行表示;此外,通过字在上下文中能形成的词向量对字向量进行增强,也利用了分词信息。其次,为了提高特征提取效率,在序列建模层引入膨胀卷积网络,改进传统LSTM网络结构复杂影响速度等问题,并遵循混合膨胀卷积的设计思想避免网格效应的产生。实验表明,设计的模型在MSRA和人民日报数据集的识别率上相比基线模型均有提升。(2)在中文关系抽取任务中,提出了一种联合词级-句子级双层注意力机制的中文关系抽取模型。首先,考虑到关系抽取任务中实体词携带了相关信息,为了使词嵌入层包含实体信息,模型在该层将两个实体的位置信息引入用于丰富语义表示;其次,为了获取文本中更重要的句子特征以及句子中更重要的词特征,模型引入了词级和句子级双层注意力机制用于特征提取,使最终生成的向量更好地表示文本信息。实验表明,设计的模型在指定数据集上具有优于基线模型的效果。
其他文献
近年来,我国城市轨道交通系统建设事业发展迅速,盾构隧道因其众多优点,在建设过程中得到了广泛的应用。随着隧道使用年限地增加,以及使用环境得复杂,隧道表面容易产生一些细小的裂缝,而裂缝极有可能导致隧道结构的损坏,所以需要及时发现并进行相应的处理。现阶段该项任务主要依靠人工巡检来完成,隧道内光线昏暗,裂缝又非常细小,人工巡检准确率低,效率低下,所以地铁隧道亟需高效、准确的自动化检测技术及方法,以保证隧道
实体识别和关系抽取是信息抽取技术的两个核心子任务,针对这两个任务,目前主流的方法是流水线式抽取,即“分步走”。实质上,关系抽取的正确建立在实体识别准确的基础上,这样会存在前一任务的错误累积到后一任务的缺点。本文首先针对实体识别与关系抽取神经网络模型中的嵌入方法提出了改进,针对中文在线百科文本知识面覆盖广、信息更新快、半结构化的特点,利用词条标签,提出了一种基于标签感知的统计方法,用于自动识别中文在
十年树木,百年树人。教育是一项静待花开的艺术,需要一个慢工出细活的过程。随着“双减”政策落地,可以预计,今后的趋势是:给学生书包减重,给家庭支出减压,让教育回归立德树人的初心,培养出德智体美劳综合发展的人才。“双减”的主要意图,是促进一个更好的教育生态。对于班主任来说,教育生态非常重要,这就是关注学生的健康快乐成长,因而班主任的工作尤为重要。
研究了聚醚醚酮(PEEK)的燃烧性能、热分解行为,采用Kissinger法对PEEK热分解反应过程进行了非等温热分解动力学研究。结果表明:PEEK具有一定的阻燃性,在50 kW/m~2的热辐射强度下,燃烧持续很短时间,生成的大量残炭阻止了燃烧的进一步进行,热释放速率峰值仅为52.15 kW/m~2,活化能为113.14 kJ/mol,指前因子为1.631×10~9 min-1,反应级数为4.9。采
“有准备的教育”理念下的班主任校本培训立足学校管理背景,厘清班级管理的内容板块,建构班主任专业知识体系;依托校本班主任工作坊,鼓励班主任互动研发、分享班级事务管理流程和个性化班级管理表单工具,为班主任提供专业支持,促进班主任从经验型走向决策型,提升班级管理专业化水平,养成专业成长自觉。
<正>问我是小学三年级的班主任。我们班有个男生特别聪明,但上课的时候经常提稀奇古怪的问题,影响教学秩序。我该怎样办呢?策我最近在一所学校听课,学生问老师:“你上次说‘枪打出头鸟’,现在又说‘早起的鸟儿有虫吃’,这不是矛盾了吗?我该听哪一句呢?”老师瞪了他一眼,下课还气呼呼地说:“这个学生就是爱钻牛角尖!”
期刊
受陕北地区沟壑纵横的地形地貌、语言、传统民俗文化等各要素的共同影响,陕北民歌所表现的艺术风格比较特殊,在全国各地民歌中有着较为鲜明的独特地域特点。绝大多数的陕北民歌都是来自乡土人民的日常生活,是对陕北地区人民日常生活的现实反映,真实的表现了陕北人民老实淳朴的生活品质,是由陕北劳动人民用自己的勤劳才智和汗水所创造的人生史诗。而陕北民歌的创作历史悠久,有着厚重的文化背景,是陕北地区民众表现心灵情感的主
<正>问现在有很多家长,根本听不进老师的意见,有的家长看似听了,实际操作的时候,仍是我行我素。作为班主任,怎样才能真正取得家长的支持呢?策前段时间,一位家长告诉我,他的孩子不愿意上学了,原因是他听了班主任的话,把家里的网线给断了。看到这里,不知你怎么想。其实,谁都知道,孩子厌学原因很复杂,但这位家长首先把责任推到老师身上,
期刊
以电子类专业为例,阐述中高职贯通课程体系的教学实践,包括课程目标、课程内容、课程结构,案例分析C语言程序设计课程目标、课程设置的比较。