论文部分内容阅读
网络爬虫是搜索引擎的一个基本组件，网络爬虫抓取页面的效率直接影响搜索引擎提供的服务质量。除了可以通过改进网络爬虫的爬行策略来提高网络爬虫效率之外，也可以通过优化网络爬虫程序某方面的设计来消除特定的效率瓶颈。通过对网络爬虫结构和实际运行数据的分析，针对爬虫的DNS解析瓶颈，设计了一种带缓存异步域名解析器模型，并通过实验和一般DNS解析器模型进行了比较，实验结果证明这种模型对于减少程序等待解析域名的这一操作时间十分有效．显然也能够提高爬虫的整体效率。