论文部分内容阅读
基于数据库的知识发现(KDD)又称数据挖掘(DM)是一种新的用于对数据库中大量数据进行处理的智能信息处理技术,是构建智能商务、新型决策支持系统等新型智能信息系统的一种基本构件,是当前智能信息技术研究的热点。粗糙集(Roug集)理论是波兰数学家Pawlak提出的一种研究不精确和不确定问题的数学工具。是目前公认的研究数据挖掘、知识约简和粒计算等的理论基础。数据库技术是管理和操纵数据库中大量数据的最先进最有效的技术。充分利用数据库技术所具有的对数据库中数据操作的优势,来改进或设计新的适合于大数据集的高效数据挖掘算法,是许多学者正在探索的一个有效途径。本文以粗糙集理论作为研究的主要理论依据,并充分考虑和运用数据库技术的优越性,对目前数据挖掘中存在的一些问题进行了研究,提出了有效可行的解决方案。本文研究内容如下:1.对属性约简算法中基于分辨矩阵求取核属性的时空代价以及必要性进行了分析,基于Rough集的有关理论和数据库技术对基于粗糙集的属性约简算法进行了改进,实验表明在大数据集上该算法的效率大大高于一些基于主存的属性约简算法,且易于实现和使用。2.针对Rough集中刻画属性分类能力的主要机制正区域等不能全面地反映属性对分类贡献能力的问题,提出了一个在Rough集中刻画属性分类综合贡献能力的测度——属性分类粗糙度,理论分析和实验表明,作为分类算法中选择属性的测度,该测度优于信息增益,且与信息增益率相当,且计算更为简单。并基于该测度和本文其它有关研究提出了一个具有良好可扩展性和适应性的分类算法,该算法可直接生成决策树或分类规则。3.分析了目前数据挖掘算法在处理噪音数据、不一致数据方面存在的问题,基于可变精度Rough集模型提出了一个在基于等价类的分部寻优归纳的分类算法(如决策树算法)中更有效的处理噪音数据的新方法——预剪枝方法;并基于Rough集的有关理论提出了一种可与这种归纳分类方法高度融合的检测和处理不相容数据的简单有效的方法。4.提出了一个利用关系数据库组织逻辑上为树形结构的知识库的方法,以及在这种知识库组织方式的基础上基于数据库查询的推理方法。