论文部分内容阅读
通过分析Heritirx开源爬虫的组件结构，针对Heritrix开源爬虫项目存在的问题，项目设计了特定的抓取逻辑和定向抓取包含某一特定内容的网页的类，并引入BKDRHash算法进行URL散列，实现了面向特定主题的网页信息搜索，达到了提高搜索数据的效率以及多线程抓取网页的目的。最后对某一特定主题的网页进行分析，并进行网页内容抓取，采用HTMLParser工具将抓取的网页数据源转换成特定的格式，可为面向主题的搜索信息系统以及数据挖掘提供数据源，为下一步研究工作做好准备。