论文部分内容阅读
随着Internet的飞速发展,互联网上的数据量呈爆炸性增长,使得Web已经成为全球信息传播与共享的重要渠道,而网页固有的半结构性以及网络上存在大量的与网页主题无关的信息,使人们无法快速准确的获得所需要的信息。这种情况下,研究如何从Web中抽取出人们所需要的信息已经变得越来越重要。国内外学者在这方面已经有了大量的研究。然而通过对现有Web信息抽取方法和当前Web网页特点的分析,发现现有抽取技术存在自动化程度不够和抽取结果不准确的问题。为了弥补以上的两个不足,本文提出了一种基于页面主体提取的Web信息抽取方法,主要包括页面预处理、页面主体提取、抽取规则生成、信息抽取四个模块。页面预处理模块利用JTidy完成对HTML标签的格式化,以及页面中一些与主题无关内容的去除。页面主体提取模块使用HTMLParser对页面进行解析,得到与Web页面对应的结构树,然后分析结构树,使用基于MMTD的算法识别出页面的主体部分。而抽取规则生成模块则使用了XPATH和XSLT,针对页面主体生成一类页面的抽取规则。信息抽取模块将抽取规则运用于待抽取页面便得到我们需要的信息,并将其存入数据库,以方便人们查找并使用。在以上的处理过程中,Web信息的抽取是在页面主体提取的基础上完成的,这也是说此方法是基于页面主体提取的原因。本文提出的方法属于自动的信息抽取,整个抽取过程几乎完全不需要人工参与,与已有研究相比,自动化程度较高;且利用了强大而灵活的XPATH和XSLT使得规则生成的过程大大简化,同时提高了抽取方法的通用性和准确性。根据以上方法设计并实现了基于页面主体提取的Web信息抽取原型系统。系统通过不同功能模块的结合达到Web信息抽取目的,并为用户提供可视化操作界面,方便操作。最后,使用此系统对若干主流网站进行试验,实验结果证明了本文方法的有效性和正确性。