论文部分内容阅读
聚类分析是将数据对象分成类或簇的过程,使同一个簇中的对象之间具有很高的相似度,而不同簇中的对象高度相异。聚类分析源于许多研究领域,包括统计学、生物学和机器学习等。聚类分析是数据挖掘中的一种非常重要的技术和方法,是自发的、无监督的学习过程。
随着聚类分析应用的领域扩展和深入,高维数据聚类已成为聚类分析的一个重要研究方向。同时高维数据聚类也是聚类分析的难点,是一个极具挑战性的工作。技术的进步使得数据收集变得越来越容易,导致数据库规模越来越大、复杂性越来越高,如各种类型的贸易交易数据、Web文档、基因表达数据等,它们的维度(属性)通常可以达到成百上千维,甚至更高。但是,受“维度效应”的影响,许多在低维数据空间表现良好的聚类方法运用在高维数据空间上往往无法获得好的聚类效果。
子空间聚类是高维数据聚类分析中的一种有效技术,尝试在相同数据集的不同子空间上发现子空间簇。本文对已有的一些高维子空间聚类算法进行了研究,分析了其中存在的若干问题,改进了相关方法:首先,针对某些算法中需要用户输入阈值识别冗余属性的问题,改进出了一种采用熵比值度量的识别算法。实验结果表明,新的方法能够正确有效地识别出高维数据集中的冗余属性,且对默认的阈值参数性能稳定,不需要用户根据不同数据集设置不同的阈值,减轻了用户负担。其次,针对聚类算法相关操作易受不相关属性影响的问题,在SCA(SubspaceClustering through Attribute Clustering)算法搜索相似兴趣子空间方法的基础上,改进出了一种基于属性相关性分析的子空间搜索算法。实验结果表明,新的方法减少了需要用户输入参数的个数,且对子空间的识别能力更优。最后,针对部分算法需要用户输入簇的数量作为参数的问题,在P3C(A Robust Projected ClusteringAlgorithm)算法挖掘簇核方法的基础上,改进出了一种有效的子空间簇核挖掘算法。实验结果表明,新的方法对簇核的挖掘精度更高,能够正确地识别簇的数量。上述问题的研究,对于提高子空间聚类算法的易用性、高效性、稳定性较为有意义。