随着学术信息的快速膨胀和互联网技术的快速发展,近年来,网络中的学术资源呈现出规模大、增长速度快、来源和组织结构不统一的特征,给学术资源的获取带来了困难。同时,本项目组一直针对互联网中的学术资源进行信息挖掘工作,通过挖掘学术信息,进行学术建模和学术推荐,这对海量、实时有效的学术资源数据的获取提出了更高的要求。因此,从不同的学术资源搜索网站快速高效地爬取学术资源,抽取有用的学术资源信息,建立统一的学术资源数据库,显得尤为重要。本论文的主要工作包括了解网络爬虫相关技术、分布式计算的工作原理、网页解析的方法及海量数据存储技术等。在此基础上,基于分布式爬取框架Nutch,本文设计并实现了一个异构学术资源分布式爬取系统,包括设计和实现异构学术资源网页的解析和存储,给出基于Nutch的分布式爬取系统的整体结构、物理框架和存储结构,以及对Nutch的扩展方法和方案,然后基于系统的设计进行详细的编码实现和系统测试。本文设计和实现的异构学术资源分布式爬取系统目前已经在实验室环境得到部署应用。本文基于Nutch和Hadoop设计和实现的异构学术资源分布式爬取系统,解决了单机爬取速度缓慢、扩展性差的问题,提高了学术资源信息采集的速度,扩大了采集规模,为学术资源的挖掘和研究提供了学术数据。