随着互联网用户量的激增,使得网络中数据量飞速累积且数据格式也随之增多,搜索引擎成为了处于大数据背景下的网络用户获取所需信息的主要手段之一。但对于拥有不同专业背景的用户,网络信息的多元化使得通用搜索引擎并不能满足他们的信息需求,这就使得当前搜索引擎的发展需要以用户为中心,而这一信息需求背景下就出现了主题搜索引擎。数据量的增加同时使得搜索引擎需要处理的数据流同步增加,分布式计算技术能够更好的应对海量数据的存储和高并发计算。在本文中笔者对Hadoop平台下主题搜索引擎相关技术进行了研究。查准率是评价一个搜索引擎性能的主要指标,如何提升查准率是本文研究的重点;系统检索响应时间与人机交互性是搜索引擎影响用户体验的两个指标;爬虫爬取速度是搜索引擎后台性能的直接反映。为了改进以上指标,本文的主要研究工作如下:一、对分布式计算和主题搜索引擎相关技术与理论进行分析,其中包括了分布式编程思想、网络爬虫的主题过滤、各个中文分词算法的分析、经典排序算法和常用的聚类算法。二、对经典PageRank算法所存在的问题,从主题链接、内外站链接数等方面对其进行优化,使其更具主题性,能够更好的表示某个网页的主题相关性。对改进后的PageRank算法进行MapReduce改造,使其符合分布式计算的要求。在原有检索结果排序算法的基础上,综合TF-IDF算法、OPIC算法和优化处理后的PageRank算法对排序结果进行整体优化。三、利用后缀树聚类算法对用户的检索结果进行实时聚类,笔者将实时聚类与主题搜索引擎首次结合到一起,改进了人机交互的接口,通过可视化的类簇,使得用户能够更为直观的对检索结果有总体的认识,同时也方便了用户对指定信息的浏览,提升用户体验。四、构建了一个完整的主题搜索引擎,其中包括主题爬虫、中文分词模块、索引模块和检索模块,在此基础上验证了分布式系统性能的灵活拓展性,提升了主题爬虫爬取速度和降低系统检索响应时间,同时通过优化后的排序算法提升了该系统的查准率,最后通过后缀树算法实现了实时聚类和聚类可视化。文章的最后,对此次研究做了总结,分析了当前研究成果和不足,并对下一步研究方向给出了研究思路。