当今社会已进入信息爆炸时代，如何通过搜索引擎精准获取有用的信息是摆在面前的一个重要课题。虽然用户采用通用搜索引擎可以检索出自己关心的内容，但也包含了许多无关信息，主题爬虫是主题搜索引擎重要的组成部分，为解决搜索引擎检索结果不够精准的问题，研究主题爬虫具有重要的理论价值和实际意义。　　随着大数据技术快速发展，诸多大数据处理工具例如Hadoop、Spark被开发出来处理海量数据，利用分布式集群来完成以前需要花费大量时间和内存的计算任务。本文对主题爬虫相关技术、开源搜索引擎Nutch和基于learning automaton的主题爬行算法进行了研究后，构建了一个基于改进learning automaton算法的分布式主题爬虫。该爬虫对Nutch的Fetch模块和Parse模块进行了改造，引入多种种子网页采集策略，使得爬虫的主题爬行具有了自适应能力，并且提高了爬虫的准确率、召回率和抓取效率。　　最后，对本文提出的基于Nutch分布式主题爬虫算法的性能进行了仿真实验，结果表明在保证准确率的前提下，所构建的分布式主题爬虫能够更高效地抓取到更多与主题相关网页。