Spark环境下的并行模糊C均值聚类算法

来源 :计算机应用 | 被引量 : 0次 | 上传用户:eltonlijun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对聚类算法需要处理数据集的规模越来越大、时效性要求越来越高,对算法的大数据适应能力和性能要求更高的问题,提出一种在Spark分布式内存计算平台下的模糊C均值(FCM)算法Spark-FCM。首先对矩阵通过水平分割实现分布式存储,不同向量存储在不同节点;然后基于FCM算法的计算特点,设计了分布式和缓存敏感的常用矩阵操作,包括乘法、转置和加法等;最后基于矩阵操作和Spark平台特点,设计了Spark-FCM算法,主要数据结构采用分布式矩阵存储,具有节点间数据移动少和每个步骤分布式计算特点。通过在单机和集群环
其他文献
一、售后服务的内涵和主要内容在企业服务链中,售后服务是最为关键的一部分。售后服务是企业对客户在购买商品后提供多种形式的服务的总称,主要包括向客户提供包装运输、质量
新疆哈密三道岭煤矿曾经是全国著名的煤炭生产基地。当时,矿上30多辆蒸汽火车夜以继日地把原煤从矿坑里输送出来,送往矿区东部的选煤厂。然而,伴随着资源枯竭、产能降低,蒸汽
期刊
以制造机车车辆转向架焊接构架常用的16MnR钢T型焊接接头为对象,研究焊趾TIG重熔后退火处理对T型焊接接头疲劳强度的影响。试验结果表明,退火处理消除了焊趾TIG重熔区的残余
本文介绍了匹配滤波器的概念及利用延时线系统构成匹配滤波器的原理,并说明了利用具有反馈电路的延时线系统实现在雷达接收机检波器以前对雷达回波信号近似匹配滤波器的原理,
互联网络和信息技术的快速发展为小学阶段的语文教学创造了良好的条件。在此情况下,教师必须要以全新的眼光来看待小学语文教学问题,充分对当下的教育情况进行全面了解和分析
为了提高2,4,6,8,10,12-六硝基-2,4,6,8,10,12-六氮杂异伍兹烷(CL-20)的安全性能,以硝化棉(NC)和聚叠氮缩水甘油醚(GAP)为复合包覆剂,采用水悬浮法对CL-20进行表面包覆。通过扫描电
明代中后期黔西南地区的森林状况尚好,然而清代时期发生了较大变化,清代前期至中期渐次转衰,清代后期急剧衰减。清代黔西南地区森林衰减固然与生态脆弱的喀斯特地理环境有关,
汉民族自古善长形象思维,从造字、构词到写诗、作文无不体现形象性。在世界诸语言中,汉语构词的形象性十分突出,颇具特色。无论是阅读汉语报刊或小说,还是翻阅中国菜单或名胜
人类疱疹病毒6型(human herpes virus 6,HHV-6)具有典型的疱疹病毒形态,但免疫学和分子病毒学研究显示它与HSV、VZV、CMV和EBOV均不相同.其感染广泛存在于婴幼儿、免疫缺陷患
利用甜瓜纯雌系WI998与雄全同株品系TopMark配制杂交组合,通过对P1、P2、F1、F2、BC1P1、BC1P26个世代群体的遗传分析,对决定甜瓜性别表达基因进行研究;同时以F2分离群体为试