论文部分内容阅读
Web爬行虫是当今搜索引擎的主要组成部分，也是信息检索领域研究的热点问题。本文综述了具有一定智能性的网络爬行虫的研究历史与现状，主要包括两个方面：传统的人工智能方法如神经网络、遗传算法、蚁群算法等在网络爬行虫的应用，以及借助这些方法发展起来的主题爬行虫；多网络爬行虫系统中爬行虫的协调的Agent技术。在此基础上，提出了一个语义概念背景图的网络爬行的基本思路。