名实体及新词是能够准确反映文本内容的基本信息元素,是正确理解文本的基础。名实体识别及新词发现技术广泛应用于诸多自然语言处理任务中,如信息检索、机器翻译、文本分类以及自动文摘等,所以名实体识别及新词发现的研究成果必将推动自然语言处理领域的相关研究。本文主要对中文名实体识别及新词发现进行了研究,具体的研究内容主要包括以下几个方面:1.针对当前名实体识别中识别效率低下,实用性不高以及对复杂名实体识别效果差的问题,本文根据中文名实体具有嵌套的特点,利用层次隐马尔科夫模型来分别对简单地名、人名;地名简称;复杂地名、机构名分层进行识别。在识别过程中自行设计了粗切分方法,在粗分的基础上利用自行设计的标记集来分层标注,最终识别出想要的名实体。在每一层利用N-best思想,输出N个结果给下一层,以求找到最优的解。2.针对层次隐马尔科夫模型中数据稀疏以及系统移植性差的问题,在上面的分层处理结束后我们利用改进的基于转换的学习方法作为后处理技术来自行改进识别效果。由于对TBL学习到的规则进行了优化,目前的后处理具有较好的效率。在2004年863标准测试集上进行了开放测试,测试结果的F值达到83%。3.针对当前新词发现中新词长度受限、领域受限以及对发现的正确新词不能优先排序等问题,本文利用统计与规则相结合的策略来进行新词发现。利用重复串频度查找来构建新词候选集;然后利用停用词集、停用词性集、头部停用词性集、尾部停用词性集、有限窗口过滤等技术来进行垃圾串滤除。对于得到的新词集,本文使用基于频度比和基于TF/IDF两种策略来进行重排序。最终,基于频度比的策略具有最好的新词发现性能,而基于TF/IDF的策略对于专业术语具有较好的识别性能。本文中,对新词发现的准确率在60%以上,召回率接近90%。