本文论述了基于统计的汉语自动分词系统的原理和过程。本文首先回顾了分词的发展历史,总结了分词的目标,分析了分词存在的问题,总结了前人对基于语料库的统计分词理论的研究。然后,在分析汉语分词处理模式的缺点的基础上,本文研究了一个迭代的汉语统计分词的处理模式并提出了在建立和优化词典的过程中隐含训练和优化语言模型的观点。词典在分词系统中非常重要,它是分词的基础。为得到一个既稳定又动态变化的词典,在基于统计的分词方法中,需要先对大量的语料文本进行处理来得到一个初始词典。为克服计算机内存和效率的限制,采取PAT 树来建立初始词典。本文给出了PAT 树的形式化定义,研究了PAT 树的结构、工作原理和改进措施,并详细探讨了PAT 树的构造算法。接着,本文深入研究了初始词典的结构,给出了初始词典内部结构的形式化定义,详细地研究了初始词典的建立过程,包括语料文本的处理和PAT 树的建立,探讨了初始词典的构造算法并分析了初始词典和PAT 树的性能。为了减小词典的规模,提高分词的效率和准确性,需要对初始词典作进一步的处理。本文详细探讨了初始词典的处理机制,研究了词典的组成,非常详细地分析了初始词典的处理,探讨了词典的收词原则,详细研究了词典的处理过程。接着,本文应用词典对语料文本进行分词。确定了分词的原则和步骤,主要分析了本系统在解决交集型歧义和未登陆词问题的优点。由于语料文本的限制,需要不断地进行词典和语言模型的优化。本文对词典和语言模型的迭代优化进行了研究,主要分析了如何对词典和语言模型进行迭代优化以解决在分词过程中出现的问题。然后,本文以一个特有域为例分析了本分词系统的应用,包括PAT 树的建立、初始词典和词典的建立及处理,并分析了处理结果。最后,本文分析了本系统的不足和需要进一步做的工作。