论文部分内容阅读
网络技术已经渗透到了社会生活的方方面面,随着Internet在世界范围内的迅速发展,越来越多的数据库和信息系统不断加入网络,使得Internet发展为当今世界上门类最全、规模最大的信息库。伴随计算能力的增长及大规模数据存储技术的成熟,面对Internet的信息快速增长,目前我们面临的情况是一方面用户对快速、准确地获得所需要的信息的渴望,另一方面是Internet上信息量的巨大以及信息内容结构的复杂性,使得处理这些信息具有很多困难。为了解决这个矛盾,Web数据挖掘成为解决这个问题的一个有效手段之一。目前,Web数据挖掘的研究正处在不断发展的阶段,需要在理论、实现方法与技术上进行大量的研究。传统的数据挖掘技术针对的主要都是结构化数据,尤其是关系数据库或数据仓库。Web数据挖掘面对的是Web上的数据,而Web是一个无集中控制、无统一结构、无完整性约束、无事务管理、无标准查询语言和数据模型、可无限扩充的松散的分布式信息系统。在此基础上进行数据挖掘存在很多困难。XML的出现为解决Web数据挖掘的难题带来了一个新的机会。本文就是提出利用XML技术来解决Web数据挖掘面临的问题。本文对基于XML的Web文本数据抽取技术进行Web文本数据挖掘作了深入的研究。本文首先介绍了数据挖掘的一些相关理论,并介绍了国内外有关数据挖掘发展情况。在论述了数据挖掘技术理论之后,研究了数据挖掘技术在Web上的应用即Web数据挖掘,其中,阐述了XML的产生与发展、特点以及相关的技术规范。在Web上的半结构化数据处理上,利用XML技术将进行文本数据的数据抽取,建立了一个基于XML的Web文本数据挖掘模型,从而帮助人们更有效地从Web上获取知识。Web文本预处理的结果对Web文本数据挖掘的质量和效率有着很重要的影响,因此,Web文本预处理阶段是至关重要的,需要进行详细而完善的研究。论文对Web文本预处理的过程和方法进行了深入的研究,提出用XML技术将Web页面上的信息进行结构化,进而再将这些Web文本表示成计算机能够处理的形式,提取出对文本挖掘有用的信息,缩减数据量,从而实现Web文本数据的抽取,并为Web文本数据挖掘打下了坚实的基础。本文构建的基于XML的Web文本挖掘模型主要包含了Web文本预处理和Web文本数据挖掘的功能,它的优点在于它利用XML技术得到能够准确表达文本内容集合,使Web文本数据挖掘处理的数据更加精炼。同时本文也探索了实现了XML到数据库模式的转化过程,从而也就把基于XML的Web数据挖掘与传统的基于关系数据模式的数据挖掘算法建立了联系。最后,文中通过一个具体的实例主要验证了利用XML实现Web文本数据抽取的有效性。