论文部分内容阅读
中文自动分词是进行中文信息处理的前提,分词词典机制是影响中文自动分词的重要因素.文中对目前典型的分词词典及分词算法进行了分析,并在此基础上提出了一种新的分词词典结构和相应的分词算法,即对现有的双字哈希机制进行了改进,使用二分查找法查找多字词,并在分词时使用改进的近邻匹配算法,从而提高了查找速度和分词效率.