基于hadoop平台的分布式数据挖掘系统的设计探讨

来源 :数字技术与应用 | 被引量 : 0次 | 上传用户:rylqy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在社会经济快速发展的情况下,网络信息技术的更新速度越来越快,如今,促进了大数据时代的进一步发展,而Hadoop作为分布式系统的代表,也成为大数据挖掘系统的重要组成部分之一。分布式数据挖掘系统的主要任务是利用Hadoop搭建分布式集群环境,然后在该环境上部署相应的数据挖掘任务,前提是要对分布式文件系统HDFS和Map Reduce的并行编程模式原理进行深入的分析研究,同时选择运用K-means聚类算法,使Hadoop平台的数据挖掘系统的任务具有良好的发展效率,同时也能显示其计算能力的扩展性能。下面就Hado
其他文献
2016至2018年的5月和9月研究了北京市五大水系53个水体蓝细菌的物种多样性。结果表明,共发现蓝细菌4目4科22属63种,优势种(IRI)为小型色球藻(Chroococcus minor(Kütz.)N
基于冻结壁变形模拟试验数据,本文对粘土冻结壁的变形规律进行了较详细的讨论,得出了冻结壁井帮最大位移计算公式。文中还以冻结壁充许位移位为基础,给出了深部粘土冻结壁承载力
甲烷水合物是地球表层(〈2km)最重要的碳库,其CH4含量很可能超过10^16kg。暴露大陆架的海侵加热及深部压力中能使海相沉积物中的甲烷水合物失稳分解;而冰悼生长,使其下的水合的稳定带扩展。水合
近年来的研究结果表明,发生于11-10kaBP的新仙女木降温事件呈全球性变化,青藏高原在这一事件中气候与环境也发生了急剧变化,由于青藏高原巨大的高度和脆弱的冰冻圈结构,使新仙女木事件的敏
铁是好氧微生物生长所必需的元素,而铁污染土壤环境中的根瘤菌是否对高浓度铁具有耐受性和钝化能力尚不清楚。以攀枝花钒钛磁铁尾矿土壤作为基质进行水黄皮共生根瘤菌捕获实
张炎是宋元之交的一位著名词人,他转益多师,标举清空,丰富了诗词苑囿,对宋词的发展作出了重要的贡献。由于词人个人的气质学养、南宋特殊的历史环境和词人独特的生活经历,使
鲍曼不动杆菌(Acinetobacter baumannii)是引起医院感染的常见致病菌,该细菌不仅容易产生耐药性,而且在人体及无生命物质表面易形成生物膜,临床治疗较为棘手。从临床分离24株
本文介绍了基于RS-485现场总线设计的数据采集系统,以STC89C52RC单片机为核心芯片,将传感器模块采集的信号通过TTL转RS485模块把信号传递到RS485集线器中,再通过串口模块把数
当前,我国各高职院校的发展均呈现出繁荣发展态势,面对如此形势,采取有效措施进一步提升各专业的教学质量就显得异常重要,对于高职院校中的钢琴教学也应如此,因此,如何全面提升钢琴
CT为岩土材料非破坏的持续检测和内部结构的定量描述提供了可能,利用这一手段观测分析了冻土单轴蠕变过程中结构的变化情况,结果表明蠕变过程中结构缺陷的增生与扩展制约着土的结