搜索引擎,是指一种在Web上应用的软件系统,它以一定的策略在Web上搜集和发现信息,在对信息进行处理和组织后,为用户提供Web信息查询服务。本文首先对搜索引擎的关键技术进行了全面分析,包括:索引器原理、搜索器原理、爬取器原理、网页质量评估算法、词法分析理论、中文分词技术、文件倒排技术、布尔查询理论。然后,在搜索引擎关键技术的基础上,基于一个轻量级的架构设计了搜索引擎的三个主要模块:网页爬虫、索引器与搜索器。并重点实现了网页爬虫模块。网页爬虫模块中:在实现其核心功能的基础上,提出了以下几种优化方案:1、增量式模型及其实现:增量式搜集只对部分页面进行更新就可以刷新页面集,可以大幅度减少批量更新次数,提高页面集的新鲜度。2、分布式扩展与实现:把一个搜集节点扩展为多个搜集节点,节点之间相互通信,并增加了控制节点来协调各节点的工作。3、网页权值计算:用于评估网页的重要性,为网页排序提供依据。采用了Google的PageRank算法。4、对磁盘存储方式进行扩展:利用面向对象语言的继承与派生机制,对数据库存储方式和容错文件格式提供了支持。5、提出了一种新的网页爬取策略:在第一次搜集网页时根据计时策略给每个URL赋一个权值。在下一次爬取网页的时候根据权值的大小去确定访问URL的先后次序,避免带宽资源过多浪费在低性能的服务器上。索引模块中:首先,讨论了中文分词的设计思想,选择了分词的算法。然后,提出了正向索引文件的建立策略。最后,给出了倒排索引的分级索引方案。搜索模块中:首先,给出了搜索器的布尔查询方案。然后,讨论了怎样根据倒排索引实施布尔查询。