论文部分内容阅读
随着科学技术的高速发展,需要处理的信息量迅速增加,要把海量科学数据作为信息,使信息成为知识,迫切需要一种能从海量科学数据信息中发现、推理知识的有效方法。数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。为了得到好的挖掘结果,数据预处理是进行数据挖掘工作前不可缺少的工作。数据预处理就是把不便识别的数据转化为易于识别的规范数据的信息处理过程。在整个数据处理过程中,数据除噪和数据压缩是预处理的核心。如何除去数据中的噪声和减小数据存储空间不但是技术上的关键问题也是理论研究上的重要课题。近几年来,小波分析理论已在数据除噪和数据压缩方面开始表现出它的潜力。多方面的研究和测试表明,针对科学数据采用小波分析的方法进行数据除噪可以为后面的知识发现提供方便,同时提高模式识别的性能,从而达到更好的数据挖掘效果。科学数据具有维数高、数据量大,数据不完全,有噪声等特点,本课题在现有的数据库和windows平台上,开发一个具有开放体系结构的、易扩充的、易维护的、具有良好人机交互界面的数据挖掘系统,从科学数据中提取隐含在其中的有用的知识,为科学计算中的仿真信息提供符合规律的模拟结果分析。目前已经完成了一个最基本的数据挖掘系统,实现了如下功能:在数据预处理方面,包括对数据库中数据进行离散化处理、对数据除噪、压缩、约简和降维;在知识发现方面主要是分类、聚类以及关联规则提取。测试结果表明基本上达到了设计要求。本论文主要讲述数据挖掘中采用小波分析方法实现数据预处理中数据除噪和压缩的问题。论文首先介绍了数据挖掘的基本概念,接着介绍了小波分析的一些基本知识及其在数据除噪和压缩方面的应用;第四章结合项目应用介绍了小波压缩除噪算法的研究,并提出了相应的改进算法;第五章介绍了目前的数据挖掘系统的功能以及小波压缩除噪算法在整个系统中的应用和实现。