近几年互联网发展迅速,从网页的整体规模角度分析,网页的数量以前所未有的速度增加;就单个网页的更新速率而言,只有部分网页的更新频率较快。以上这些因素给搜索引擎带来了极大的挑战,因此在快、准、全、新的衡量标准下,针对信息采集的爬虫爬行策略的研究有着重要的意义。　　本文围绕着能够在实际环境中提高爬虫爬行效率的需求,在深入研究了爬虫的工作原理的基础上，首先通过关于时间序列的数学建模,提出了网页更新频率预测的爬行策略。其次提出了建立了评价网页更新频率预测效果的标准数据集的思想,并建立了部分数据集,以可定制的时间、网页变化粒度记录了网页变化过程,方便其他研究人员的使用。最后在标准数据集的基础上对网页更新频率的数学模型不断进行优化和改进,能够应用到实际系统中。　　本文研究的内容和成果归结为以下方面:　　首先,结合爬虫实际应用需求和时间序列的相关理论,提出了基于马尔科夫链的网页更新预测的数据模型,验证了预测网页更新频率在实际应用的可行性。　　其次,建立了评价网页更新频率预测效果的标准数据集。标准数据集的数据来源从横向上来自于不同类型网站,从纵向上来自于同一站点的不同类型网页,形成多维度的网页采集结构,保证网页的多样性、针对性、代表性。以可定制的时间粒度和网页变化粒度记录了网页变化过程,使得其他相关研究人员无需下载网页就可以通过记录的数据进行网页更新的预测和对预测结果进行评价。　　然后,在建立的标准数据集上通过准确率、命中率、覆盖率、F-measure等评价指标对基于马尔科夫链的网页预测算法进行了评价。　　最后,在前期理论研究成果的基础上，本文介绍了基于马尔科夫链预测的增量爬虫系统的设计。