基于聚类算法的大数据中密集数据算法分析

来源 :信息技术与信息化 | 被引量 : 0次 | 上传用户:Dalyforever
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代环境下如何能够计算海量密集型数据,研究提供了一个聚类算法的分析思路。基于MapReduce和SPRINT算法的编程框架,提出了一种决策树分类算法。通过实际实验对MR-DIDC算法的性能进行了一定量的测试,通过测试的结果来看,该算法具备良好的可扩展性以及较高的数据可用性。在数据量规模比较大的情况下,该算法大规模聚类的运行时间能够大量缩减。这类算法继承了MapReduce的优点,使该算法更适合大数据密集型数据的计算应用。
其他文献
目前云计算在各行各业较多,对于云平台的安全问题也受到了各行业的重视。教育云平台主要解决的是安全防护问题,对教育云平台的安全威胁提出解决办法。从技术和管理层面,在物
嵌入式设备互联互通多采用网络方式,高效可靠的网络控制器是实现互联互通的基础。以嵌入式PowerPC处理器内部的增强型三速以太网控制器eTSEC为典型,通过介绍eTSEC的硬件结构
主要分析了在无槽ALOHA随机访问协议下的LoRa系统,研究低功耗广域网LoRa网络中节点间通信性能与扩频因子(SF)之间的关系,提出了在服务器(NS)端采用一种基于随机森林的LoRa SF分配方案。通过合理地预测分配扩频因子(SF),最大限度地提高系统的分组成功率(PDR),减少网络通信的能量消耗,从而最大限度地提高终端节点(EDs)的连通性。通过仿真验证了该方案的有效性,并与现有方案进行了比较
通过对智慧教育和智慧课程的理论分析,总结出智慧课程系统的优点,结合高职院校实际需求,论述基于MVC框架构建开发的智慧课程系统,概述系统的开发技术和逻辑功能划分。重点介
为了得到更准确的教学质量评价结果,将模糊评价、层次分析法与多尺度模型相结合,通过层次分析得到不同因素对提高某学科综合能力的权重,针对不同情况的教学过程进行不同达标
详细回顾了我校应用服务平台的发展历程,总结和分析了各个阶段的特点和不足,提出了面向业务域的应用服务平台的层级化架构,努力打通业务部门内的业务流程和数据流,建立部门级
提出了一个BF模式框架,该框架的意义在于有效地调度公共云中可接受的流式大数据分析。模式为原始和复制的操作符提出了分区、关键路径确定、调度和供应算法。BF模式是基于使
针对复杂系统数据处理计算量大、实时性要求高等问题,提出了一种分布式并行智能计算模型。利用Spark平台在分布式集群所有节点的内存RDD中完成遍历扫描运算,结合有向无环图搭
通过导入所需工具库和对应数据集,查询出数据集主要信息,并对空数据进行定位和处理,对重复数据和异常数据进行检测和过滤,再将多个数据集进行级联或者聚合等操作处理数据,查
民营经济监测分析系统,为济南市市政府建立一套基于全市民营企业大数据的市级民营经济监测分析系统。系统以"数据采集及时、运行分析精准、监测预警有效"为目的,覆盖私营企业