论文部分内容阅读
提出了一种基于汉字串频度及串长度递减的中文文本自动切分算法。采用长串优先匹配法，不需要词典，不需要事先估计字之间的搭配概率，不需要建立字索引，利用串频信息可以自动切分出文本中有意义的汉字串。该算法能够有效地切分出文本中新涌现的通用词、专业术语及专有名词，并且能够有效避免具有包含关系的长、短汉字串中的短汉字串的错误统计。实验表明，在无需语料库学习的情况下，该算法能够快速、准确地切分出中文文档中出现频率大于等于支持度阈值的汉字串。