论文部分内容阅读
本文旨在提供一种基于非监督训练的分词歧义解决方案和一种分词算法。基于EM的思想，每个句子所对应的所有（或一定范围内）的分词结果构成训练集，通过这个训练集和初始的语言模型可以估计出一个新的语言模型。最终的语言模型通过多次迭代而得到。通过一种基于该最终语言模型的统计分词算法，对于每个句子至少带有一个歧义的测试集的正确切分精度达到85．36％（以句子为单位）。