论文部分内容阅读
作为搜索引擎的重要组成部分，网络机器人能从Intemet上自动获取网页，替搜索引擎在Intemet上搜集网页。通用网络机器人以种子URL作为入口，对整个Web进行遍历下载。而主题网络机器人不单单是充当一个获取网页的工具，还能够对链接以及页面内容进行主题相关性识别。主题网络机器人并不仅把目标定位覆盖率，还要提高获取主题相关网页的准确性，为搜索引擎提供一个主题相关的网页库。现在，主题网络机器人已经成为搜索引擎技术领域的一个研究热点，是搜索引擎的发展的重点方向之一。