基于BERT的中文命名实体识别方法研究

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:khalista7
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联网和云计算的持续发展,人们的工作和日常生活中的很多活动都拓展到了互联网中。面对这些互联网产生的海量文本数据,如何提高信息抽取的准确性就成为了一个热门话题。命名实体识别作为信息抽取的重要内容,也随之成为相关研究领域的一个重要方向。近年来随着计算机性能的提升以及词的分布式表示的出现,深度学习逐渐成为命名实体识别的重要方法,尤其是使用神经网络和统计方法的混合模型,有着良好的识别效果和泛化能力。其中,神经网络性能的发挥依赖于文本词向量的表征。在词的分布式表示出现后的一段时间中,大多数网络模型都是使用静态词嵌入方法,例如Word2Vec和Glo Ve等。虽然这种静态嵌入方法比较简单有效,但是它无法解决自然语言中多义词问题,尤其是当多义词在不同的上下文中具有不同的含义时,会忽略其语境的不同而为其分配相同的词向量表示。针对上述问题,本文从模型词嵌入方向入手,提出一种基于BERT的中文命名实体识别方法。双向预训练语言模型BERT中使用了注意力机制,整体网络结构由Transformer堆叠而成,结合预训练中的两个任务可以很好地区分多义词,也具有更强的语言表征能力。本方法由双向预训练模型BERT、双向长短期记忆网络、条件随机场三部分组成。其中BERT作为词嵌入模型,为下游任务提供词向量,然后将产生的词向量作为双向长短期记忆网络的输入,学习文本序列中每个字词的标签分布。最后通过条件随机场进行句法限制,从而获得最好的序列标注,完成命名实体识别任务。除此之外,本文引入了一种针对BERT预训练任务的优化方案。在BERT的预训练任务中,会随机地遮盖句子中的部分字词,然后使用上下文信息去预测被遮盖字词。这种随机遮盖的方式没有考虑到中文词法的特殊性,可能导致句子中的词被部分遮盖,影响预训练任务效果。为了避免随机遮盖带来的这种弊端,本文在预训练中引入全词遮盖的方法,通过在预训练过程中加入中文分词,使其以完整语义的字词为单位进行遮盖,从而达到优化模型预训练过程的目的。本文实验从多个角度与其它模型算法进行对比分析,结果显示,本文使用的基于BERT联合双向长短期记忆网络和条件随机场的中文命名实体识别模型具有更好的识别能力,且在预训练中使用全词遮盖的方法可以优化BERT的预训练过程,提升模型整体的识别能力。
其他文献
致癌性芳香胺类化合物对环境和人类健康危害甚大。因此,寻找一种简单、快速、准确检测致癌芳香胺的方法具有重要的研究意义。分子印迹聚合物具有优异的特异识别性和选择性。
中等职业学校的教育工作,往往关注学生的文化知识传授和操作技能培养,容易忽略学生职业能力的培养和训练,教育的偏差导致中等职业学校学生的职业能力比较低。因此,关注中等职业学校学生的职业能力培养,强化中等职业学校学生的职业能力,是中等职业学校教育工作的重要内容,有助于提高中等职业学校教育工作的实效性。2015年湖南省响应国家教育部改革号召实施初中毕业普职分流后,中职院校学生生源急剧增多,公办中职无法满足
清水江文书是极具民族特色与研究价值的体裁类手书文献。但学界对清水江文书语言学方面的研究仍然得不到重视,具体到契约套语的研究则几乎为空白。清水江文书契约套语研究既是清水江文书研究中最具规律性的研究方向,又是揭示其文本特色的重要切入点。本文首次对清水江文书契约套语所涉及的文本特征、契约套语的类型以及契约套语词进行了全面的分析。首先,本文对清水江文书进行概述,简要解释本文研究材料的基本情况,明确了研究目
当今社会生活的发展离不开信息技术的融入,经济越发展,信息技术运用的范围越广泛,特别是近年来在教育领域,处处可见信息技术的影子。在小学语文教学中,信息技术发挥出越来越
近年来,随着金融市场的爆炸式发展,我国上市公司并购活动愈发频繁。为了维护公司稳定发展,很多上市公司通过在公司章程中设置反收购条款的方式抵御敌意收购行为。然而,当前我国各上市公司章程中的反收购条款形式、内容良莠不齐,为使反收购条款能够在合理的制度空间内抵御敌意收购,有必要采取一系列科学、合理的措施,完善我国上市公司章程中的反收购条款法律制度。除去引言,本文一共包括四个部分。第一部分梳理了上市公司章程
分子印迹技术(Molecular imprinting technique,MIT)是一种分子识别技术,正在成为一种新兴的可选择性识别模板分子的一门技术。分子印迹技术是指制备在三维空间结构上与模板分
安东·斯捷潘诺维奇·阿连斯基,俄罗斯指挥家、作曲家、钢琴家。他的创作风格多元化,最初受里姆斯基·科萨科夫的影响,早期作品以东方情调音乐为创作素材;之后受柴可夫斯基的影响,作品以俄罗斯民族歌舞为创作素材;同时他的钢琴创作还受肖邦的影响,在钢琴练习曲的创作方面具有音乐性和技巧性并重的特点。《四首钢琴小品Op.25》第三首是阿连斯基钢琴音乐中重要的代表作品之一,其中第三首尤其受到海内外钢琴家的青睐。阿连
随着我国经济社会的发展,高速公路发挥着越来越重要的作用,在高速公路的飞速建设过程中,尤其是在软土地区,出现了许多工程问题。近年来,刚性桩在软土路基加固中得到了广泛的
以聚乙烯醇(PVA)为主要原料,采用浸渍法将其与磷酸银(Ag3PO4)进行复合,通过热处理的方法使其脱水得到了具有共轭结构的聚乙烯醇衍生物/磷酸银(CDPVA/Ag3PO4)复合微粒。借助扫描电子