随着大数据和人工智能时代的到来,网络上的信息量呈现爆炸式的增长,如何快速准确的从海量的信息中采集到需要的数据成为了人们的重点研究课题。一些网络爬虫工具和系统的出现,在一定程度上缓解了这一状况,但这些集中式的单机爬虫系统并不能完全满足实际生产中的数据抓取需求,而且目前互联网中存在大量采用AJAX技术的动态页面,这也给爬虫系统的设计带来了极大的挑战。针对上述两个问题,论文根据实际问题需求设计并实现了一个支持动态页面抓取的分布式爬虫系统,旨在解决传统单机网络爬虫抓取效率慢和动态网页抓取低效的问题。系统采用分布式架构的思想改进了传统单机爬虫的系统结构,将速度较慢的动态页面下载模块分离为独立的分布式服务,这种分布式的设计方式可以解决爬虫控制模块和动态页面下载模块速度不一致的问题。各爬虫节点为对等式结构,节点之间通过消息队列Rabbit MQ进行通信,这种设计方案为系统提供了良好的可扩展性和可伸缩性。系统基于Web Magic设计了爬虫页面解析器,用户的爬虫程序可以非常方便的对爬取到的页面进行数据抽取。系统采用基于Node.js的Puppeteer框架实现了动态页面下载器,此框架提供的API可以控制Chromium无界面浏览器下载采用AJAX异步加载技术的动态页面,并可以在内存中模拟用户的操作,系统使用这些API设计了一种抓取动态页面的解决方案。系统还提供对爬取页面数据的存储功能和基本的URL去重过滤功能。论文设计和实现的分布式动态页面爬虫系统在传统单机爬虫的基础上改进系统架构,并提升爬虫程序的抓取性能,为进一步的爬虫系统研究提供了依据。系统同时还具有动态页面抓取的功能,经过优化和改进后的动态页面下载模块对异步动态页面的抓取提供了良好的支持,抓取动态页面的能力有了进一步的提高。系统测试结果表明预期功能得以实现,并达到了较好的性能目标。