论文部分内容阅读
近年来,随着各个企业、机构所拥有的数据急速膨胀,如何把这些数据转化为有用的信息和知识成为一个非常重要的研究方向——数据挖掘或知识发现。 数据聚类是数据挖掘研究的一个重要课题。聚类是将数据点集合分成若干类或簇(cluster),使得每个簇中的数据点之间最大程度地相似,而不同簇中的数据点最大程度地不同;从而发现人数掘集中有效的、新颖的、有用的利可以现解的模式利数据分布。聚类方法常见的有划分、层次、密度、模型和网格等。 异常(outlier)检测则是数据挖掘中一个崭新的领域,用来发现“小的模式”(相对于聚类),即数据集中显著不同于其它数据的对象,异常检测在电信利信用卡欺骗、贷款审批、气象预报、金融领域和客户分类等各种应用。 基于层次方法的聚类的基本思想足:根据给定的簇间距离度量准则,构造利维护一棵由簇利子簇形成的聚类树,直至满足某个终结条件为止。根据层次分解是自底向上还是自顶向下形成,层次聚类方法可以分为凝聚的(agglomerative)和分裂的(divisive)。人多数层次聚类算法在紧密簇或球形簇结构下能够产生较好的聚类效果。但是对于任意结构的簇对象或有孤立点的情况,通常的层次聚类算法可能会导致低质量的聚类结果。其主要原因在于人多数的层次聚类算法在度量簇问距离时采用的是基于质心的策略。 [GRS98]中提出了一种新颖的基于多代表点的层次聚类方法CURE。该算法选择基于质心利基于代表对象方法之间的中间策略,它不用单个质心或簇中全部对象米代表一个簇,而是选择数据空间中定数目的只有代表性的点,这些点代表和捕捉到了簇的形状。此外,由于引入了收缩因子使代表点向簇小心“收缩”而使该算法能够较好地消除孤立点的影响,在处理孤立点上也更加健壮。 本文继续了基于层次方法聚类的研究工作,把该方法用于数据聚类和异常检测,采用随机取样利划分两种方法结合,并将数据概化技术引入数据聚类和异常检测中,使之在一个实际的客户分析系统十得到了有效的应用,获得了较有价值的结果。具体来说,本文作了以下工作: ◆ 研究利探讨了当前各种聚类算法,重点研究了层次聚类算法,改进了大多数层次聚类算法不能很好地处理任意形状簇和孤立点的缺陷。 ◆ 剖析了CURE算法,改进了其在随机取样时的不足之处,并通过引入数据概化技术使之在一个实际的客户分析平台上得以实现利应用。 ◆ 研究和探讨了异常(孤立点)检测问题,分析了导致异常的某些原因,讨论了基于距离的异常检测方法,提出了利用分块来加快发现异常的速度以及初步把聚类和异常检测结合起来的思想。 ◆ 对聚类利异常检测算法中大量使用的采样技术进行了讨论,并提山了密度偏向的采样技术。改进了均匀采样技术在某些应用中的不足之处,采用这个密度偏向的采样技术比采用均匀采样技术具有更好的可扩展性和精确度。