论文部分内容阅读
对双数组Trie树（Double—ArrayTrie）分词算法进行了优化：在采用Trie树构造双数组Trie树的过程中，优先处理分支节点多的结点，以减少冲突；构造一个空状态序列；将冲突的结点放入Hash表中，不需要重新分配结点．然后，利用这些方法构造了一个中文分词系统，并与其他几种分词方法进行对比，结果表明，优化后的双数组Trie树插入速度和空间利用率得到了很大提高，且分词查询效率也得到了提高．