论文部分内容阅读
随着互联网的高速发展和大规模扩张,用户越来越迫切地期望能够高效准确地查询所需的信息。传统的通用搜索引擎以遍历全网采集数据的通用爬虫作为基本数据来源,它虽然能为用户提供更为广泛的数据,但却无法满足用户针对特定领域进行定向搜索的要求。因此基于特定领域的垂直搜索引擎应运而生,而主题爬虫作为垂直搜索引擎的基本数据来源,直接影响着检索结果,关系着用户体验,有效提高主题爬虫抓取的数据质量和性能逐渐成为研究热点。其中,作为主题爬虫的核心组成部分,网页信息抽取和主题爬虫策略与抓取的数据质量和性能息息相关。因此本文重点从这两方面进行研究,主要工作如下:(1)现有的网页标题抽取常采用基于HTML标签或简单的启发式抽取方式,抽取准确率较低。本文考虑到网站构建中,父页面引用子页面,往往使用锚文本概括子页面核心内容,与子页面标题间具有极大的关联,而爬虫抓取过程中能够直接获取锚文本信息,提出基于多条件判定的网页标题抽取算法(TEBC),以提高标题抽取的准确率和召回率。(2)现有的网页正文抽取技术中,抽取准确率较高的算法通常依据网页HTML代码的语法结构,需事先将HTML代码转换为DOM树,耗费的时间较多。针对现有网页正文抽取技术中存在的不足,本文提出基于HTML有效行多特征综合的网页正文抽取算法(CELCC),忽略HTML的结构特征,以HTML有效行为基本计算单元,结合HTML有效行的多项特征构造统计量即综合文本密度,并通过计算分组最大连续子序列获得候选正文块,最后通过候选块验证抽取正文。实验表明,该算法能准确高效地抽取正文。(3)传统的主题爬虫策略大多基于主题局部性或结合链接分析,其中基于主题局部性的爬虫策略常需要采用适当的隧道技术才能解决主题孤岛的问题,而结合链接分析的爬虫策略需耗费的计算量较大。为提高爬虫性能,本文依据站点信息组织的特点和URL的特征,将URL模式引入主题爬虫,提出基于URL模式集的主题爬虫策略(UPFC)。爬虫分两阶段,在学习爬虫阶段,利用网页信息抽取所得的各项特征计算主题相关度,采集所需的种子站点样本数据,然后利用基于MDL的URL模式构建算法构建URL模式,并形成URL模式关系图,利用HITS算法分析该模式关系图,综合内容权威度和链接权威度计算各模式的重要度;在聚焦爬虫阶段,利用生成的URL模式判断页面是否主题相关和能否指导爬虫深入抓取,并根据URL模式的重要度预测待抓取链接的优先级,以此指导爬虫抓取,提高爬虫性能。(4)将研究的网页信息抽取技术和主题爬虫策略,以及其他爬虫核心模块,包括爬虫初始化、网页解析和网页去重等应用于实际的爬虫系统中,设计和实现了一套完整的针对税务领域的主题爬虫系统。通过实际生产验证了本文提出的算法和策略的有效性和实用性。