论文部分内容阅读
伴随着中国互联网建设的不断完善及发展,网络逐渐渗透进社会各行各业和人们生活各方各面。多样化的互联网应用为我们带来巨大的便捷性,许多网民通过互联网进行网上社交娱乐、购物支付等。网络社交平台,如Twitter、新浪微博等,已经成为众多网民间沟通交流、获取信息的重要媒介与途径。人们利用这类社交平台发表、分享自己感兴趣的文字、图片、视频等信息。然而随之带来的是每天海量数据的产生,如何从这些大规模数据中提取有用的信息,并运用这些信息知识带动社会的发展与进步,显得尤为重要,也是数据挖掘领域的一大新的挑战。当前,嵌套命名实体识别作为命名实体识别任务的主要组成部分,是许多科学研究(如:问答系统、知识图谱、人工智能等)中最为基础、核心的技术之一,并且其相关识别方法成果在实际生活中也具有广泛的应用。中文的复杂性导致在文本内往往存在着较多的嵌套命名实体。现有的命名实体识别方法能够较好的识别出结构相对简单的基本命名实体,但对于结构复杂的嵌套命名实体却很难完整地、准确地识别出来,再加上现有方法多集中于常规文本中的命名实体识别研究。针对微博中嵌套命名实体的提取,本文在分析其层次结构的基础上,将嵌套命名实体的识别任务拆分为两个部分,并通过合理构建特征库、外部语义知识库以及特征模板等手段进行微博中嵌套命名实体的识别。本文的主要研究内容包含以下几点:1.本文在对嵌套命名实体的结构分析基础上,给出其独有的5种层次结构特征类型,并认为嵌套命名实体的识别在结构相对简单的基本命名实体识别之后更加合适。因此,本文提出了一种基于层叠条件随机场模型的微博中嵌套命名实体识别方法,该方法将识别任务划分为两个阶段:首先在一个条件随机场模型解决结构相对简单的人名、地名以及机构名等基本命名实体的识别,然后将识别结果传递到另一个条件随机场模型中为实现对嵌套命名实体的识别提供决策依据。2.本文提出了一种基于词性标记的嵌套命名实体特征词自动提取算法,构建嵌套命名实体特征库。同时,本文针对特征词重要度这一个概念,提出了自己的改进方法。除此之外,本文人工地构建一个外部语义知识库,使得识别模型能够获取到足够丰富的信息来进行判别。3.本文针对层叠条件随机场中的低层与高层条件随机场识别模型,分别构建出合适的特征模板集合,并提出一种基于特征重要度的特征模板选取策略,提高识别模型的整体识别效果。4.最后,本文通过对比实验的方式,比较了不同窗口大小对识别过程中的精确率、召回率以及F值的差异影响,最终选定识别模型中合适的窗口大小。此外,最终实验结果证明本文提出的基于层叠条件随机场的微博嵌套命名实体识别方法较其他方法来说有较高的精确度、召回率、F值并且比较稳定。