本文针对爬虫在当前网络环境中衍生的不同的性质提出一些针对各个性质的爬虫构架方法,并对各种方法进行实验分析,主要创新工作和成果如下:第一,总结了搜索引擎中爬虫的基本性质。介绍了搜索引擎中爬虫的第一个基本性质多线程断点续传,并从产生背景,实现和设计优点三个方面进行阐述,然后介绍了搜索引擎中爬虫的第二个基本性质内部网可定制,也并从产生背景,实现和设计优点三个方面进行阐述。第二,总结了搜索引擎中爬虫的特色性质。介绍了搜索引擎中爬虫的六个特色性质:针对布告栏的数据分类,针对布告栏的并行式关联,针对论坛的自动动态更新,针对论坛的同话题定位跟踪,针对视频的可预览,针对视频的真实寻址,并分别从产生背景,实现和设计优点三个方面进行详尽阐述。第三,本文给出八种不同爬虫系统的设计方案及实现。针对搜索引擎中爬虫的两个基本性质和六个特色性质实现爬虫系统的架构和给出详细的构造分析。第四,本文针对八种不同爬虫系统给出实验及结论。对构架出的爬虫系统进行性能试验分析,并给出分析结论。