数据爆发式增长,大数据时代到来,互联网每天产生难以计数且各式各样的数据。这些数据蕴含的信息具有巨大的研究价值和商业价值。学者及企业希望获取知识类、资讯类、政策法规类等文章型网页中有价值的信息,不仅要求数据量大、格式规范统一、时效性强,还希望获取信息的成本低、效率高。现实中网页结构各异且都包含大量与主题无关的网页噪声,如何从互联网蕴含的海量信息中以较高的效率、极快的速度获取有价值的结构化信息是一个值得研究的课题。本文选题来源于企业项目,研究文章型网页的信息自动提取算法,设计实现了基于网页信息自动提取算法的分布式网络爬虫系统,提高了信息获取的效率,具体如下:（1）针对现有网页信息提取算法提取精度不足、提取信息缺失和上下文信息利用较少的问题,提出了一种基于视觉块一致性和序列标注的文章型网页元数据提取算法。根据文章型网页的视觉特征对网页进行分块预处理,将网页节点划分为多个一致性视觉块;利用统计特征定位网页主体区域,过滤掉大量噪音信息;选择文本、视觉和词典特征作为特征集进行特征提取,利用条件随机场模型进行序列标注,提取标题、正文、作者、来源、发布时间、图像和附件等信息。最后对算法进行了实验和对比分析。（2）设计实现了基于网页信息提取算法的分布式爬虫系统。本文分析了企业需求并对系统进行了总体设计,将系统分为数据采集层、数据解析层、数据存储层、节点接入层和系统管理层。针对现有分布式爬虫存在的问题,引入网页信息自动提取算法代替人工编写解析脚本,提出了一种无中心的基于动态反馈的任务调度策略,提高了系统可靠性和抓取效率。接下来本文对系统各模块进行了设计与实现。最后,本文对系统进行了性能和功能测试。