论文部分内容阅读
随着科学技术的高速发展,需要处理的信息量迅速增加,要把海量科学数据作为信息,信息成为知识,迫切需要利用能从海量科学数据信息中发现、推理知识的有效方法。数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。为了得到好的挖掘结果,数据预处理是进行数据挖掘工作前不可缺少的工作。数据预处理就是把不便识别的数据转化为易于识别的规范数据的信息处理过程。在整个数据处理过程中,规范化和属性约简是处理的核心。如何除去无意义的属性不但是技术上的关键问题也是理论研究上的重要课题。近几年来,粗糙集理论已在属性约简方面开始表现出它的潜力。多方面的研究和测试表明,针对科学数据采用粗糙集的方法进行约简可以为后面的知识发现提供方便,提高模式识别的性能,从而达到更好的挖掘效果。科学数据具有维数高、数据量大,数据不完全,有噪声等特点,本课题在现有的数据库和windows 平台上,开发一个具有开放体系结构的、易扩充的、易维护的、具有良好人机交互界面的数据挖掘系统,从科学数据中提取隐含在其中的有用的知识,为科学计算中的仿真信息提供符合规律的模拟结果分析。目前已经完成了一个最基本的数据挖掘系统,实现了如下功能:在数据预处理方面,包括对数据库中数据进行离散化处理、对冗余属性的约简,降维;在知识发现方面主要是分类、聚类以及关联规则提取。测试结果表明基本上达到了设计要求。本论文主要讲述数据挖掘中采用粗糙集方法实现数据预处理中冗余属性约简的问题。论文首先介绍了数据挖掘的基本概念,接着介绍了粗糙集的一些基本知识及其在属性约简方面的应用;第四章介绍了信息熵及其与粗糙集的结合应用;第五章介绍了一些基于粗糙集的属性约简的常用算法,并提出了对MIBARK 算法的改进;第六章介绍了目前的数据挖掘系统的功能及属性约简在整个系统中的应用。