论文部分内容阅读
网络爬虫是一种按照一定的规则自动搜集和抓取互联网信息的程序或者脚本.通过网络爬虫不仅能够为搜索引擎采集网络信息,而且可以作为定向信息采集器,定向采集某些网站下的特定信息,如健康新闻、健康知识等.基于此,阐述了网络爬虫的相关知识与技术,并对这些技术的优劣进行了分析,为基于网络爬虫的搜索引擎的设计和实现提供了有用的意见和建议.