论文部分内容阅读
自然语言处理,相对其它领域,如编程语言,具有特殊的因难,主要表现在知识的获取与使用上。早期自然语言处理的知识几乎都是人工总结的,如机器翻译词典、各种文法等。然而,语言是社会发展的产物,不是简单的可以由"专家"总结和收集的;人工收集知识存在表达不一致、过于武断、代价高昂、不适应应用领域变化等缺点。Internet的发展和各种数字资源的丰富,使得应用统计方法来收集NLP(Natural Language Processing)知识成为可能。这种方法无须先验知识、适应性强、知识获取成本低,近年来获得了很大发展,尤其在语音识别、OCR等领域的应用获得了较大成功。本文以隐马尔可夫Trigram模型为核心,研究中文的统计语言建模问题,包括单语语料库收集与整理、模型选择、训练、平滑、压缩等问题,并开发出一套通用的、面向对象的中文统计语言建模工具箱。论文对原有Trigram的HMM统计模型进行改进,使其具有更多的长距依存能力, 促进统计语言模型在中文自然语言处理领域的应用。论文主要贡献如下:首先,本文根据中文自然语言处理的特点,重新考察了应用于西方语言的语料库收集、模型训练、平滑、压缩方法,分别研究它们的特点以及对中文Trigram模型性能的影响。通过实验找出使中文Trigram模型性能最大化的组合方法。 其次,本文针对HMM Trigram模型只能表达短距依存的缺点进行改进,通过对现代汉语各种依存现象的研究,引入新的长距依存方法,提出一种改进模型LP-Trigram。同时,本文对原有HMM Trigram的Viterbi算法进行扩充,在保证原有模型的尺寸及速度不发生重大变化的情况下,使模型具有长距依存能力,排除了部分歧义,使得模型的性能得到局部改善。 然后,本文以中文拼音-汉字转换系统为应用实例,测试改进系统的性能,即音-字转换的正确率。实验证明,改进的模型排除了原有模型的一些转换错误,能使长距依存现象在HMM Trigram模型中得到正确的表达。最后,对全文的工作进行总结,并指出有待进一步完成的工作。