Web2.0下的新媒体业务不再局限于生产媒体素材,新媒体业务往往通过爬虫引擎抓取大量的媒体资源网站获得媒体素材。内容汇聚子系统通过可定制爬虫实现对多个网络电台的数据抓取,为中国广播云平台提供数据服务。然而,为了获得丰富的素材内容,爬虫引擎需要对大量的网站进行垂直爬取,媒体网站数量较多,且不同网站的结构不同,页面结构复杂,数据形式丰富,被抓取的网站经常发生结构的改变。这些问题给系统开发人员带来了极大的开发负担,给系统使用人员带来了极大的管理负担。针对爬虫业务逻辑多变、普通爬虫框架对于使用者门槛较高的问题,同时基于内容汇聚子系统的特点,结合具体的用户需求,设计实现了可定制爬虫引擎。可定制爬虫引擎避免了系统使用者直接接触爬虫业务代码,为系统使用人员提供一种基于描述文件来轻量级实现数据抓取逻辑的机制。基于描述文件,系统使用者可以对爬虫引擎的业务逻辑实现快速更新、批量管理、实时管理,通过对系统定义的数据抓取规则的灵活组合来控制爬虫执行逻辑。为实现上述功能,对系统功能进行了需求分析与关键问题研究,明确了系统应区别于常规单机爬虫框架,应实现可伸缩的弹性架构,确定了可定制爬虫引擎的架构与工作方式,探讨了弹性框架中需要解决的爬虫管理与进程通信的关键问题;然后基于爬虫系统应用的功能,对系统应该开放给用户的规则进行分析,相关规则包括爬虫执行限定区域、反反爬虫、爬虫前置操作、数据抽取、后置操作等,针对规则,爬虫引擎应作为一个规则的解析器与运行器执行上述规则。又对框架的实现需要的HTTP代理与数据增量抓取进行了分析。在进行了需求分析与关键问题的探讨后,本文给出了可定制爬虫引擎的设计与实现。后续为测试系统功能正确,设计测试用例并进行了测试,测试结果证明设计符合要求,最后进行全文总结。