论文部分内容阅读
命名实体是文本中基本的信息元素,是正确理解文本的基础。命名实体识别(Named Entity Reeognition, NER)的主要任务是识别出文本中出现的名字实体和有意义的数量短语并加以归类,主要包括人名、地名、组织机构名、时间表达式、日期、数字表达式等。命名实体识别是自然语言处理中的热点问题和基础性工作,对自然语言处理具有极其重要的意义,并被应用到自然语言处理的许多领域,如信息检索、信息抽取和机器翻译等。目前,命名实体识别主要采用基于规则的方法、基于统计的方法和基于规则和统计相结合的方法。
当前,中文命名实体识别(NER)研究的重点和难点是中文人名、地名和组织机构名。本文针对中文人名识别和评测进行了研究,具体工作主要集中在以下几个方面:
第一,针对中文人名用字相对整个汉字集相对集中的特点,通过真实人名语料库训练中文人名用字规律,得到每个字作为中文姓氏和人名概率,并根据在中文人名识别中的作用对姓氏用字和人名用字进行分类,计算句子中各个候选字段作为中文人名的概率值;通过标准标注语料库获得人名的上下文信息,结合候选字段的概率值对中文人名进行初筛选。
第二,充分挖掘中文人名与其上下文信息的关联程度以及中文人名内部之间关联程度,引入互信息对其进行定量的描述。对中文人名上下文互信息、中文人名内部互信息以及交叉潜在人名互信息的定义,评价函数的计算和过滤阈值的确定进行了详细的介绍,通过实验给出了各种情况下的过滤阈值。
第三,对命名实体识别评测的意义和当前中文人名识别评测方法的不足进行了比较详细的描述。针对当前评测方法的不足,提出了一种面向中文人名识别系统的自动评测方法。主要包括评测语料库的构建,评测文件的产生,识别结果的产生和评测结果的计算几个部分。
实验结果表明,本文所采用的中文人名识别方法,获得了比较理想的识别效果,所提出的中文人名识别评测方法能够克服当前人名识别评测方法中评测文件规模较小、固定不变和不可重复利用的缺点,能够正确、客观地对人名识别系统进行评测,对推动中文人名识别研究的发展具有重要意义。