互联网信息增长速度惊人，为了在海量数据中快速找到有用的信息，搜索引擎技术成为了网民关注的热点。本论文的新闻搜索引擎就是在这样的环境下应运而生。对普通用户来说，商业的搜索引擎基本上能满足其应用需求。但是对于特定的用户来说，譬如中小企业用户或者科研机构等，因为商业搜索引擎信息的针对性较低，同时存在不能按需配置等缺陷，他们的应用需求不能通过商业互联网搜索引擎得到完全满足。Lucene等开源软件的出现很好地满足了这个需求,由于它们是完全开源的，开发人员完全能够根据需求开发出适用于具体领域的搜索引擎。本文系统就是基于开源软件设计并实现的。本文首先介绍了搜索引擎的发展历史、趋势及搜索引擎的分类，然后，阐述了系统需求分析，明确系统功能需求与非功能需求，接着设计系统框架与相关系统体系结构，最后详细设计各个功能模块并将之实现。本系统为基于爬虫的Sohu新闻搜索引擎，使用二次开发方法，实现了Heritrix数据抓取模块，HTMLParser数据预处理模块，Lucene索引与Oracle数据库数据生成模块及Lucene搜索核心处理模块等。为了提高用户体验，本文结合Lucene文本匹配算法与PageRank算法，并考虑了时间因素对新闻搜索引擎的影响，提出了一种改进的页面排序算法，在此基础上，设计并实现了一种基于Lucene与Hadoop分布式存储与分布式计算的算法实现方案，从而使展现给用户的搜索结果更加准确，更加合理。