搜索引擎是信息检索必备的工具,也是一门非常适用的技术,虽然各大搜索引擎在不断地完善和发展自己的技术,但是仍然满足不了用户的需求,随着用户的数量和互联网的信息量不断增加,对搜索引擎提出了更高的要求,如何从海量信息中快速地、准确地获取有价值的信息,成为各大搜索引擎研究的主题。本文应用Lucene检索工具包实现了搜索引擎的索引、检索过程,并与PageRank算法相结合,改善了页面排序算法；针对Nutch系统中WebCrawler的不足,在网路蜘蛛的爬取策略、去重技术和更新技术方面做了改进；分词算法采用基于最大匹配算法和概率相结合的分词算法；利用K-means的聚类算法实现了web文本聚类,提高了检索结果的相关性；综合利用各种技术,实现一个完整的搜索引擎系统。本文所做工作如下：第一、实现了基于Lucene全文索引和检索的过程,并设计了最大匹配算法和概率相结合的分词算法。第二、利用Nutch系统中的Web Crawler的基本模型,选取了PageRank算法作为网络蜘蛛的爬取策略,使用基于URL和内容的去重算法去除重复页面,用Quartz作业调度系统实现了定时调用网络爬虫,完成了对本地页面批量更新,进一步提高了信息的实时性。第三、针对PageRank和Lucene排序算法的不足,改进了PageRank算法和Lucene自身排序算法,综合利用两种算法实现页面排序,使排序结果更加合理；实现了web文本聚类,采用K-means聚类算法对检索结果聚类,提高检索结果的相关性。