论文部分内容阅读
汉语分词是自然语言处理的首要的基本工作。本文提出了一个基于条件随机场（简称CRF）的汉语分词模型，CRF模型作为一个判别模型，可以容纳任意的非独立的特征信息。我们首先将分词看作是一个标记的过程，然后利用CRF模型对每个汉字进行标记，最后转换为相应的分词结果。系统采用感知机（Perceptron）算法进行参数训练。跟以前利用CRF进行分词的模型相比，本系统定义并使用了不同的特征函数，取得了更好的切分结果。在1st SIGHAN分词比赛PK测试集上封闭测试，F值为95．2％。