在互联网蓬勃发展的今天,互联网上的信息更是浩如烟海。人们在享受互联网带来的便利的同时,却面临着一个如何在如此海量的内容中准确、快捷地找到自己所需要的信息的问题,由此互联网搜索引擎应运而生。当前对于搜索引擎的研究是互联网技术中最热门的领域。本文首先对搜索引擎的原理、组成、数据结构、工作流程等方面进行了深入而细致地研究和分析。搜索引擎的未来发展方向是个性化、智能化。对于不同类型的用户群搜索相同的内容将得到不同的更适合用户的搜索结果,这就是搜索引擎的个性化；而智能化则指搜索引擎具有自我学习的功能,能自动地适应用户的查询需求,并能对用户进行智能分类从而为搜索引擎的个性化提供依据。然后详细地介绍了LUCENE的特点、系统结构及索引机制。LUCENE是Apache软件基金会的一个开源项目,完全由Java实现,适用于需要全文搜索能力的应用程序,并具有良好的跨平台能力。在理论研究的基础上,本文最后利用Java技术实现了一个新闻搜索引擎系统。该搜索引擎系统的网络蜘蛛部分采用了非递归爬取方式和Java的多线程机制,利用一个基于内存的作业队列管理器负责网页抓取过程中URL链接的加入、分配、处理等作业,同时使用线程池管理多个抓取线程,并发抓取网页。索引和搜索部分借助LUCENE全文搜索引擎库中的Java类进行实现。最后采用JSP(Java server pages)技术设计了一个简易的新闻搜索引擎客户端。