随着Web2.0的兴起,社交化媒体迅速发展,已成为信息共享和传播的重要平台。以新浪微博、腾讯微博为代表的社交化媒体采用Ajax技术,实现了浏览器和服务器之间信息的异步传输,改善了用户体验,与此同时,也增加了异步信息获取的困难。传统的网络爬虫只是通过解析静态html网页中的<a>标签获取网页中的URL,对于通过执行JavaScript脚本产生的动态信息的获取已显得无能无力。本文首先介绍了网络爬虫工作原理,传统网络爬虫的实现过程,并对网络爬虫中使用的关键技术进行了研究,包括网页搜索策略、URL去重算法、网页分析技术、更新策略等。然后针对微博的特点和Ajax技术的实现方法,指出传统网络爬虫的不足,以及信息抓取的技术难点,深入分析了现有的基于Ajax的网络爬虫的最新技术——通过模拟浏览器行为,触发JavaScript事件(如click, onmouseover等),解析JavaScript脚本,动态更新网页DOM树,抽取网页中的有效信息。最后,详细论述了面向SNS网络爬虫系统的设计方案,整体构架,以及各功能模块的具体实现。面向微博的网络爬虫系统的实现是以新浪微博作为抓取的目标网站。结合新浪微博网页的特点,通过模拟用户行为,解析JavaScript,建立DOM树来获取网页动态信息,并按照一定的规则提取出网页中的URL和有效信息,并将有效信息存入数据库。本系统成功的实现了基于Ajax技术的网页信息的提取。