随着因特网的普及和信息技术的高速发展,为了从海量的信息中快速、准确地获取所需要的信息,信息检索技术成了人们关注的焦点。其中,全文检索是一种非常高效的信息检索技术,它极大地提高了从海量的数据中查找特定信息的效率。作为开源组织Apache Jakarta的成员项目,Lucene是一个用java语言实现的高性能、可扩展的信息检索工具,它可以方便快捷地集成到应用程序中以增加索引和搜索的功能。本文首先介绍了全文检索的研究现状和关键技术,然后对Lucene的结构以及分析器原理进行了分析和研究。本文通过对Lucene内核分析器的分析和研究,设计了一个基于HashMap实现的树形词库。基于该树形词库设计了一个类似联想方法的正向最大匹配分词算法。该分词算法实现了对中文、英文和数字的切分,并且能对标点符号进行过滤。测试结果表明,本文设计的分词模块MMCAnalyzer与Lucene内核包采用的单字切分方法和其扩展包中的二元切分方法相比,该分词算法具有效率高、分词准确率高的优势。此外,为了使Lucene可以方便、无缝地嵌入到应用程序中,Lucene的内核被设计得非常小巧,它的处理对象局限于纯文本数据。然而在现实世界中,纯文本格式的文档正处于逐渐减少的趋势,其他各种格式的文档逐渐增多。为了解决该问题,本文设计了一个多类型文档处理的框架。该框架能够有效地处理txt、doc、pdf等常见的文档类型。最后,本文对研究工作进行了总结,提出了今后进一步的研究方向。