基于MapReduce的K_means并行算法及改进

来源 :计算机系统应用 | 被引量 : 0次 | 上传用户:Niujingniu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对传统k_means聚类算法在处理海量数据时所面临的内存不足、运算速度慢等问题,提出了一种基于Map Reduce的K_means并行算法,同时为了改善k_means算法在初始值确定方面的盲目性,采用canopy算法进行改进.实验结果表明,基于Map Reduce的K_means并行算法和改进后的算法均能产生良好的聚类效果,不仅提高了聚类质量,而且在处理大数据集方面,改进后的算法的还能够得到趋近于线性的加速比.
其他文献
PSO(粒子群优化算法)在实际生活中的发展趋势近几年呈现一种飞跃的趋势.被应用在很多方面中.考虑到其优越性.将其应用到绩效考核的评价中.现有的考核评价方法不能够很好地解决
图案风格设计是图案生成的关键问题,针对新疆民族织物图案的特点,提出一种对称性和随机性相结合的图案生成方法.首先对导入的初始图案进行双线性插值运算,生成一个正三角形作为第一个等边纹样基元;然后通过正反120角旋转,扩展成两个等边基元.再利用对称和旋转变换把随机选择的不同等边纹样基元嵌入到六边形构型中,最后平铺六边形构型生成一幅新图案.该算法具有随机选择基元、堆砌对称构型和无缝平铺纹样的特点,大量计算
重名问题在Web人物搜索过程中是很普遍的现象.研究了Web人名消歧相关问题,提取与待消歧人名相关的不同特征集,运用向量空间模型构造人物实体的组合特征,最后通过层次聚类算法
如何能够更好的解决云计算资源分配问题一直都是研究的热点,引入猴群算法,针对猴群算法中出现的局部收敛速度快,容易造成局部最优值的缺点,首先在猴群算法中引入混沌算法和反
研究了一种支持网络化协同设计、满足不懂XML编程用户设计需求的XML设计器.重点考虑其实时、异步的信息交互能力,基于Ajax4jsf框架设计Web接口,为XML文档批量设计提供技术支
城轨线网数据中心汇集多条线路数据,单表记录量达数十亿条,当前系统数据查询响应时间过长、效率低下.提出利用数据库集群及中间件优化系统架构突破单库存储与处理瓶颈,多节点
由于目前交叉口信号控制主要采用传统的控制方式,大都不具备智能性,很难实现对随机变化的交通流进行有效控制.针对这种不足,本文从模糊控制和自适应控制方法两个角度出发研究
介绍当前智能家居设备互联架构及方式,论述现有智能家居设备中电力线通信加密方法存在的问题.提出一种基于NFC的电力线通信加密方法,该方法使用NFC卡的UID生成网络密钥并对电
大范围战场环境的视景仿真中,仿真实体运动状态复杂多变.为解决这种视景仿真的逼真性问题,通过对观察者和目标间几何对应关系的分析,给出了三种控制模式:等距离模式、等速度模
针对不同设备厂商的视频不能在统一界面集中监控的问题,设计了一种Web视频监控播放插件,该插件根据网络配置与前端视频设备直连通信,集成不同视频设备厂商提供的API,实现不同