论文部分内容阅读
在中文自然语言处理中,命名实体识别(NER)是中文自动分词的一个重要步骤:同时,由于命名实体的识别课题必须解决词的边界界定、上下文歧义的消除、未登录词的识别、实体本身的多种特征定义等问题,这让它成为了一个不可回避的研究难点。在国内外的众多研究中,使用语料数据和概率机器学习模型的集合来解决命名实体识别问题,确定了比其他方法更好的效果。
Wikipedia是一个自由、免费、内容开放的多语言百科全书协作计划。除了庞大数据量,Wikipedia本身特殊的组织结构具有更大的研究价值。Indri是一个优秀的基于语言模型的开源实验搜索引擎,具有优秀的检索性能和多语言适应能力。本文分析了Wikipedia的条目、分类、重定向、链接等结构特点,并使用Indri 搜索引擎建立数据索引,作为命名实体识别系统的词典索引及训练语料来源,通过检索的方式为识别模型提供数据信息。
在解决序列标注问题方面,条件随机场(CRFs)是一个基于无向图的机器学习模型,它的训练精度高于HMMs、MEMMs等模型,能得到全局最优结果,并避免了标识偏向问题。
本文提出了一种基于Wikipedia数据库得到的数据索引,使用CRFs作为识别模型的中文命名实体识别方法,即SYSUNER。我们使用了从Wikipedia数据库抽取出的训练语料进行序列标注训练,并提出了最大匹配粗分词算法进行粗分词,然后使用CRFs模型进行命名实体标注。在SYSUNER中,我们定义了人名(PN)、地名(LN)、组织机构名(ON)、名词缩写(AN)等4中命名实体,并定义了多种相关的文法特征和CRFs模型的特征模板。为了提高精度,我们还引入了N最佳标注选取算法在多种标注结果中选取最优标注序列,引入动态更新词典机制把新词加入系统词典。开放性测试和对比测试的结果显示,SYSUNER的平均召回率和准确率分别都达到了83.20%和85.50%,处于领域的先进水平。而我们引入的多种优化机制也确实提高了系统的性能。同时,我们证实了,把中文Wikipedia数据库用于中文命名实体识别研究是行之有效的。