论文部分内容阅读
随着信息和计算机技术的不断发展,出现了大量的海量数据。在对这些海量的数据进行复杂的数据分析时,通常需要耗费大量的时间。虽然目前已经提出了一些通过减少海量数据集中实例的特征数和数据集中的实例数的方法来降低处理海量数据集所消耗的时间和存储海量数据需要的空间,但是这些方法都具有一定的局限性,因此,探索具有一定普适性的减少特征数和实例数的数据约简方法,对提高海量数据处理的效率有着重要的理论意义和现实意义。针对现有的基于实例选择的数据约简方法所存在不足的基础上,结合Hausdorff距离在度量两个数据集相似度方面展示出来的优越性,利用Hausdorff距离作为原始数据集中实例是否被选择的标准,从原始数据集中选取具有“代表”性的实例。同时考虑到Hausdorff距离的计算复杂度较高,借助K-NN (K-Nearest Neighbor)搜索算法将数据集进行均匀切割,在此基础之上,提出了一种基于局部Hausdorff距离的面向实例的数据约简方法。围绕多特征海量数据集的高效约简,从增强目标实例邻近数据的均匀度、减少近邻表示误差及提高降维效果的角度出发,提出了一个基于中心点的K-NN搜索算法,该算法能够保证对某一实例进行近邻搜索时得到的近邻实例最大限度的均匀分布在该实例的周围。为了保证K值的变化符合非均匀数据集的特性,提出了根据数据集局部均匀度的变化动态调整K值的方法,制定了满足非均匀数据集中LLE (Locally Linear Embedding)算法降维需要的K值变化规则。以此为基础,提出了一种基于LLE算法的变K值的数据约简方法。考虑到数据集中实例的变化一般会影响数据集分类的效果和数据集上的统计特征,建立了利用分类方法和空间统计的相关技术对约简方法进行综合评价的方法。为了实现对分类方法效果的度量,在分析了类半径、类间距和类实例数对分类精度影响的基础上,给出了一种综合评价分类精度的计算方法。通过对数据集中实例的频数分布、数据集的分位数和数据集之间的距离三个统计特征的分析,对约简前后数据集之间的相似性进行了评价。同时,基于对Moran’sI参数的作用分析,提出了利用Moran’sI对数据集约简前后的自相关性的变化进行度量,以实现对约简效果的评价。通过对基于特征选择、实例选择的数据约简方法以及约简效果评价方法的研究,取得了若干研究成果,对提高海量数据的处理效率、快速获取有效信息具有积极意义。