网络爬虫是搜索引擎的关键技术之一，近年来，随着Web 2.0的兴起，AJAX技术在Web开发中的大量应用，AJAX使用异步向服务器发送请求的方式，从服务器获取数据后动态修改Web页面内容，导致传统网络爬虫抓取的内容远少于页面呈现的内容，这对搜索引擎查询结果的准确性有很大影响。本文设计实现的AjaxCrawler通过截取AJAX异步请求返回的数据并分析，从而获取更多的页面内容。 该爬虫由网页抓取、网页分析、JS解析、DOM支持、页面生成五部分组成。网页抓取模块通过HTTP请求，获取需要抓取的页面。网页分析模块分析页面元素信息，和传统爬虫不同的是，该爬虫不仅分析页面中的超链接和页面内容，还分析JavaScript文件和代码。JS解析模块执行页面中的JavaScript代码，这些代码中包含AJAX调用，获取从服务器返回的请求内容，得到内容后通过DOM支持模块修改页面内容。最后，页面生成模块利用上—模块的结果重新生成新的页面内容，然后提取新页面中的超链接。 本文最后对AjaxCrawler和传统爬虫抓取结果进行了实验，通过实验，证明了AjaxCrawler在同等条件下抓取AJAX网站的页面内容远多于传统爬虫。