论文部分内容阅读
名实体识别是自然语言处理领域的研究热点之一,在信息抽取、自动问答等信息处理任务中都有十分重要的意义。随着现代科技的高速发展,除人名、地名、机构名之外,其它类别的名实体识别也成为研究热点。在ACE评测大纲中,名实体识别是五个识别任务中的重要一个,它是对文本自动处理的前提工作,它的质量会直接影响到后续的一系列工作。虽然名实体识别技术正日趋成熟,然而从评测的结果来看,中文名实体的识别还远不能满足应用的需求。因为这里存在着技术、资源、应用需求之间有机结合的问题。交通工具名属于ACE实体类别的一类,因此交通工具名识别是ACE项目中的重要组成部分。目前,很多研究名实体识别都是研究多个名实体类别,专门针对交通工具名的研究并不多。对于名实体识别,最先遇到的困难就是获取大规模已标注语料,这给我们的研究带来了一定困难。另外,交通工具名自身的一些特点也是我们在研究过程中需要考虑的关键问题。本文的主要工作是研究交通工具名识别的方法,在此基础上建立了一个基于Bootstrapping的交通工具名识别系统,经过实验论证,此方法取得效果较好。本文主要研究了以下几方面的内容:1.通过对真实语料的统计,深入分析了交通工具名的内部特征和上下文环境特征,提出了适合交通工具名的特征集,并通过实验进行特征选择,确定了有效特征。2.将信息熵增益理论运用到模式和样例的选择中,这样避免了以往用公式选择时的局限性,可以判断每一个模式或者样例对实验结果的影响程度,从而判断其重要性,为Bootstrapping的有效运行提供保证。3.通过相似度计算来识别交通工具名,避免了模式的精确匹配。适应了自然语言灵活多变的特点。4.基于Bootstrapping算法设计实现了一个交通工具名识别系统。将交通工具名的特征信息和待识别实例分别表示为类特征向量和实例特征向量,通过计算它们的相似度来判断待识别实例是否属于交通工具名,在类特征向量的获取过程中采用Bootstrapping算法。我们对ACE语料32万字的文本进行了封闭测试和开放测试,实验结果表明该方法识别交通工具名的召回率达到85.9%,准确率达到73.5%,从而证明基于Bootstrapping的交通工具名识别方法的有效性。