中文分词技术属于自然语言处理技术范畴,它是中文信息处理中的一个主要组成部分,是中文语言理解、文献检索、机械翻译以及语言合成系统中最基本的一部分。对于中文搜索引擎,中文分词模块的不可或缺是其一个显著的特点。 对于专业化搜索引擎,针对该专业词汇分词的优化尤其重要。本研究室承担了作为面向化工专业信息查询搜索引擎的211工程项目。为实现网上化工类信息的快速准确获取,在对现有算法深入分析研究的基础上经过实验改进,找出一种新的可以对含有大量化工类专业词汇的中文文档进行有效分词的算法。并使用Java语言将其实现,实际应用于化工类专业搜索引擎的分词模块。 论文中提出了一种基于常规最短路径方法的分词算法:层进式最短路径分词方法。使用该算法可以消除大量歧义,取得较好的分词效果。文中还详细介绍了整个分词模块的设计结构。包括分词用词典的结构设计实现,词典中包含有大量化工类专业词汇,可以用于优化针对化工专业的分词并实现了高效的词典查询算法;为避免相似功能的重复开发,实现代码重用的对象复用架构和基于该架构的线程池实现方案;组成分词模块的层次结构,其中使用了相关技术以优化分词的效率;分词算法的具体实现。