论文选题来源于国内某著名互联网公司搜索引擎团队的搜索引擎核心词提取系统。索引系统作为搜索引擎的核心系统之一,需要处理海量的互联网信息,但是信息的高重复度浪费了大量的系统资源。为了解决这一问题,需要在索引系统中添加索引信息排重系统,通过比对信息文本的核心词来实现排重功能。本论文的主要工作是索引信息排重系统中核心词提取子系统的设计与实现,该子系统的目的是能够准确、快速提取信息文本中的核心词汇,供索引信息排重系统使用,进而达到索引信息排重的目的。论文阐述了搜索引擎核心词提取系统对于企业应用的价值和意义。介绍了搜索引擎核心词提取系统相关技术,包括搜索引擎技术、中文分词技术、模式匹配技术以及Linux系统开发技术；对搜索引擎核心词提取系统进行了需求分析,提出了基于中文分词和模式匹配技术的核心词提取方案；设计了系统的架构和功能模块；最终实现了该系统。本论文设计、实现的搜索引擎核心词提取系统主要应用于索引信息排重系统,还能将其扩展应用于文章相似度计算、网页相似度计算以及新闻相关词提取等。目前搜索引擎核心词提取系统已经应用于该互联网公司的搜索引擎中。该系统使得无线爱问搜索引擎有了更好的用户体验,主要体现在相同的存储容量下存储的信息内容更加丰富,而且搜索结果中重复信息明显减少。