论文部分内容阅读
中文地名识别属于中文命名实体(Named Entity)识别范畴,它是自然语言处理的基础任务之一,是机器翻译、信息检索、问答系统等技术的基础,中文地名在命名实体中占有很大比例。由于中文地名自身的特点,中文地名识别一直是中文自然语言处理的难题。本文在已有研究的基础上,利用条件随机域(Conditional Random Fields,CRFs)模型进行中文地名自动识别的研究,旨在提高中文地名识别的效果。本文的核心工作概括为以下两个方面:(1)首先简要介绍了隐马尔科夫理论和最大熵隐马尔科夫模型理论,然后进一步介绍了由最大熵理论发展起来的CRFs模型。CRFs模型是目前比较优秀的条件概率模型,它没有隐马尔科夫模型的输出独立性假设,同时最大程度上降低了最大熵模型的标记偏置问题带来的影响,从而可以利用上下文特征获得全局最优的标注结果。(2)在传统用CRFs模型进行中文地名识别中,使用单层CRFs模型很难获取远距离特征,因此为了易于处理非本地依赖实体的识别,提出双层CRFs模型:将地名识别问题转化为序列标注问题,结合中文地名的特点,首先将中文文本中提取的地名特征分为三类:局部特征、非局部特征和词典特征,同时将训练文本中的地名提取出来作原始地名词典,然后利用局部特征训练第一层CRFs,对测试语料进行测试,将识别的结果加入到原始地名词典中,第二层CRFs利用非局部特征和通过最大匹配法获的词典特征进行。本文的主要贡献是在进行中文地名识别时使用双层CRFs模型获得文本的远距离特征从而解决了标记一致性问题。有效利用已有的研究方法,设计并实现了中文地名识别系统。实验证明,基于双层条件随机域的中文地名识别方法,能有效的提高中文地名识别效果。