随着计算机技术和因特网的迅猛发展,人类积累的数据在迅速增加,在数据极大丰富的同时也带来了信息过载等问题。数据增长的另一个趋势是非结构化文档在数据中的比重日益增大,而对非结构化文档的检索缺乏像数据库检索的SQL语言这样简单的工具。全文检索系统通过对非结构化文档建立便于查询的结构,使得用户能在可接受的时间内得到与其查询相关的文档的有序列表。全文检索是解决信息过载问题的重要方法,具有较高的应用价值。本文研究了基于Hadoop的分布式全文检索系统。该系统包括数据接收前端模块、索引模块、搜索模块。数据接收前端接收数据源分发的原始文档,将文档存储在HDFS (Hadoop Distributed File System)上,并按照规则向Hadoop集群提交索引任务。索引模块分布式地建立索引,当索引任务完成之后,通知搜索模块管理索引。搜索模块负责管理索引,并负责接收并处理客户端的查询,然后分布式地搜索索引块,最后合并各个索引块的结果并返回结果列表。经测试,该系统可以实现正常的全文检索功能,但其性能还需改进。本文还研究了与全文检索系统密切相关的文件预处理模块。文件预处理模块包括文件类型识别、字符编码识别与转换和文本抽取。文件类型识别模块使用魔数和后缀名来识别文件的类型,并用MIME标准表示文件类型。字符编码识别模块利用字符编码方案的码位不同以及字符频率在不同编码中的分布等统计信息来识别文件的字符编码。文本抽取模块基于插件实现,为不同的插件编写适配函数以便为上层提供统一接口,还利用了多进程方案加快文本抽取速度。字符编码转换模块利用libiconv进行ANSI字符编码到Unicode字符编码之间的相互转换,利用分词技术和查表法实现中文简繁体转换。经测试,文件预处理的各个模块都能实现正常的功能,其性能也满足要求。