K-means聚类算法在Spark平台上的应用

来源 :软件导刊 | 被引量 : 0次 | 上传用户:hai198351
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人类产生的数据量呈指数级增长,数据的海量、多样化等特征使传统的聚类算法无法处理这些数据,而近来较为流行的Hadoop平台在处理数据的速度上也达到瓶颈。因此,专家们想要研究一种更为适合的处理平台来处理遇到的海量数据,Spark平台应运而生。首先介绍了聚类算法定义与分类,随后提出了Spark平台,包括Spark核心技术(RDD)、Spark和Hadoop的对比,并介绍了K-means在Spark平台上的实现,最后总结了Spark的应用现状并对其未来发展进行了展望。
其他文献
<正> 有人曾经说过这样的话:“舞蹈编导”无法教授,但却有规律可循。这个所谓的“规律”即是常说的“编舞技法”。 编舞技法,是舞蹈编导者将自己多年的实践经验与国内外先进
<正>人民银行提出建立"两管理、两综合"金融管理制度,确立了管理与暇务并重的覆职理念。基昙人民银行在开展"两管理、两综合"工作中仍存在一些问题,亟待改进。银监分设以来,
目的分析妊娠中期唐氏筛查在高龄孕妇产前诊断中的应用价值。方法选取在我院就诊的2000例接受唐氏筛查或接受产前羊膜腔穿刺检查的妊娠中期孕妇,按照孕妇年龄不同分为对照组
目的观察普米克都保联合复方甲氧那明胶囊对咳嗽变异性哮喘(cough variant asthma,CVA)的治疗效果。方法将38例咳嗽变异性哮喘患者随机分为观察组和对照组,观察组18例使用普
<正>环境问题从来没有如此紧迫地让我们切身感受到恐慌。当恐怖的雾霾终日笼罩在我们左右,向我们肆虐地展示它的淫威时,整个社会都在为之焦虑:我们的环境到底怎么了?是谁制造
期刊
全英文教学是我国高等教育顺应教育国际化趋势的一个重大举措,是目前高校教学工作的重要课题之一。对全英文教学实践中遇到的各种问题进行深入思考,对理顺思路、开展全英文教
在调研用户需求基础上,以.NET为开发平台,以C#为后台业务逻辑处理语言,以Oracle9i为后台数据库,实现了核安全立法信息管理系统及界面开发。开发中采用三层架构模式,使系统具
Morpho蝴蝶呈现显著闪耀的蓝色光泽,是自然界中生物结构色的典型代表。其结构色形成机理及仿生合成研究,一直是国际上研究的前沿和热点。本文着重对Morpho didius蝶翅在不同环
半导体表面的气体吸附在紫外传感、气体传感、化学传感、催化等领域具有重要的应用价值。而在这些领域中,以ZnO纳米材料为代表的应用因具有较高的性能而广受关注。本文以ZnO
<正> 灵芝盆景是近年来兴起的一种利用成熟后的灵芝干品加工而成的定型工艺品。而利用泡沫塑料大棚技术将处于生长阶段的灵芝活体上盆制作成活灵芝盆景,如同盆栽花卉一样,可