论文部分内容阅读
通过对分词歧义处理情况的分析,提出一种基于上下文的双向扫描分词算法,对分词词典进行改进,将词组短语的固定搭配引入词典中。讨论了特征项的选择及权重的设定,并引进X^2统计量参与项的权值计算,解决了目前通用TF-IDF加权法的不足,同时提出了项打分分类算法,提高了特征项对于文本分类的有效性。实验结果表明,改进后的权重计算方法性能更优越。