基于置信半径的分布式聚类算法的研究与应用

来源 :江苏大学 | 被引量 : 0次 | 上传用户:sgjies
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
聚类分析作为数据挖掘的一个重要研究方向,可以有效地挖掘出这些数据背后所包含的知识,在金融、电信、保险业、市场营销、网络异常检测、网络安全、科学决策等方面具有十分重要的应用价值。传统的聚类算法只适用于集中式数据的聚类,随着信息技术、数据库技术、特别是网络技术的快速发展,基于单个服务器的集中式聚类分析已不能适应处理这些分布式、海量数据的需求。本文在整理归纳前人的研究成果基础上,研究利用对等网络(Peer-to-Peer,P2P)进行分布式海量数据的聚类方法。论文主要工作如下:   首先,介绍了分布式聚类算法的基础理论以及国内外相关研究成果,其中包括集中式聚类分析的概述、分布式聚类概述以及基于P2P网络的分布式聚类算法。   其次,本文引入了置信半径的思想来加快分布式聚类收敛速度。在此思想基础上,本文先提出了一种基于节点数据密度的分布式K-Means聚类算法。该算法通过计算P2P网络节点上数据分布密度的梯度,找到同一类数据在节点的稠密和稀疏分布,确定稠密数据的置信半径并用以指导下一步的聚类迭代,从而可以用较少的带宽消耗(即迭代数)使网络上的数据聚类快速达到稳定状态。   再次,本文在前一个算法的基础上,提出了基于Fisher线性判别率的分布式K-Means聚类算法。该算法根据数据在节点上的局部分布,通过Fisher线性判别率计算出数据稠密分布和稀疏分布的分界,从而确定数据的置信半径并用以指导下一步的聚类。以达到消耗较少网络带宽并提高聚类精度的目的。   根据模拟和真实数据所做实验表明,本文所提两个算法与集中式聚类算法以及DFEKM算法相比,在保证聚类精度的基础上,大幅减少聚类时所需迭代数,以及消耗的网络带宽。而基于节点数据密度的分布式K-Means聚类算法与基于Fisher。线性判别率的分布式K-Means聚类算法相比,前者在聚类精度上优于后者,而后者在算法效率和带宽消耗上优于前者。
其他文献
为了提高大区域高压输电线路在线监测系统在恶劣环境下的可靠性,需要利用系统中的无线传感器网络对WiFi通信链路进行补充,以便可以在WiFi设备失效的情况下代替其进行数据传输
随着3G技术、移动互联网的兴起,无线视频通信的市场需求越来越广泛。目前,无线视频通信应用已经成为无线通信业务发展的核心组成部分。但是由于无线网络传输带宽的限制、信道
随着网络信息技术的快速发展,可收集信息的种类和数量都呈指数增长,而基于信息共享、科学研究等方面的需要,数据收集者需将收集到的数据信息进行发布。由于发布的信息中涉及到很
随着服务组合系统的广泛应用,许多新的研究问题被提出。由于Web服务松散、低耦合等特点,使得Web服务之间的异步交互方式被广泛的采用。而以往的研究往往局限于同步交互情形,很少
计算机动画技术的飞速发展使得人体动画在虚拟现实、影视娱乐、视频游戏、教育培训、体育和军事仿真等领域得到了广泛应用。运动捕获技术的出现及大规模商业化应用,为人体动
二维网状(mesh)的处理器阵列具有规整的结构,能够对图形图像数据进行高效处理。近年来,超大规模集成电路(VLSI)和晶片规模集成电路(WSI)的集成技术和工艺发展的越来越成熟,VLSI
随着科学技术的飞速发展,越来越多的传感器应用于各个领域中。图像融合就是利用各种成像传感器不同的成像方式,提供互补信息,增加图像的信息量,提高对环境的适应性,以获得更
随着互联网的普及,电子邮件已经成为人们生活中通信、交流的工具之一,但是随着电子邮件的广泛普及和电子邮件发送的低成本,人们面临的一个严峻的问题就是:任何人的电子邮件地址只
月球是地球的近邻,探测月球能帮助人类认识宇宙的起源演化。利用月球探测数据对大地测量参数的准确估计对得出精确的月球模型,更好的研究月球表面的资源有重要意义。本课题是
数字图像技术作为数字技术中的重要领域,近年来得到飞速发展,已经在现实生活诸多方面得到广泛应用。影像是人类从外界获取信息的重要手段之一,同时也以其特殊的形式记录了很