基于Hadoop迭代数据处理及其数据放置策略的研究

被引量 : 0次 | 上传用户:ssaifengchen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Hadoop是处理海量数据的分布式计算及存储框架,在各行各业中得到的广泛的应用,尤其是在互联网用户数如此庞大的环境下。但是Hadoop处理一些大数据应用仍然存在一些不足,如Hadoop处理图结构数据。由于图结构数据的强耦合特性,无法在一次mapreduce计算中得出结果,而是需要迭代化计算,甚至一次迭代包含多次mapreduce计算,从而需要重新启动mapeduce任务,开销较大,另外迭代过程中可能存在静态数据的不必要传输,破坏了Hadoop设计的思想。本文首先论述Hadoop处理迭代应用存在的问题以及一些解决方案,如HaLoop。在此基础上提出了map端存储策略,它主要是通过扩展mapper接口来充分利用map阶段的计算以及利用在map端存储静态数据,以便可以在map阶段完成静态数据与动态数据相关计算,减少了数据传输到reduce阶段完成计算的网络开销。之后分析Hadoop的默认放置策略,该策略存在的一些缺陷。针对缺陷,考虑到数据备份的放置以及计算机性能差异情况下的数据放置,将数据备份恢复的开销最小化以及充分利用计算机的性能差异、减少数据的网络传输开销。结合存储节点的剩余存储容量、计算机处理能力以及网络延迟因素,来选择合适的存储节点。最后,通过搭建Hadoop平台,并对局部源代码进行修改、重新编译,对以上的修改方案进行实现并与修改前的方案进行对比,验证理论分析的正确性。
其他文献
中国传统社会以家族制度为核心,出嫁女的财产继承权历来都受到极大限制。近代以来,随着男女平等观念的普及,女性财产权益的保护得到日益重视。现代法律确立了男女继承权平等原则
药品安全与人类健康息息相关,当前假冒伪劣药品泛滥药品质量无法保证。药品从生产、仓储、物流再到消费者手中,流通周期长,而且药品流通系统缺乏有效的管理规范,在药品质量出
象棋是一项流传千年的智力运动,本文通过对象棋运动文化流变的研究,在总结国内外相关研究的基础上,试图分析当时社会在哲学、军事、政治、经济等方面对象棋运动产生的作用和
当前,国际大宗商品市场价格持续低迷,非洲国家大多面临财政收入减少、债务负担加剧的困难,非洲工程承包市场面临前所未有的激烈竞争。本文以中铁七局集团有限公司(以下简称"中
摘要:为了满足国民经济发展的需求,国内外特高压及各级电网的不断发展,将电网发展推向了高潮。目前国内电网电压等级已达到交流1000kV,直流±800kV,特高压电网已经成为电网发
乳腺癌是一种女性最常见的恶性肿瘤,我国已成为乳腺癌发病率增长速度最快的国家之一,且呈年轻化趋势。在对乳腺癌发病原因与预防手段尚未完全清楚的情况下,对乳腺癌的早期检
自上世纪70年代计划生育政策实施以来,我国在控制人口快速增长方面起到了卓有成效的效果,广大计划生育家庭为我国的人口和计划生育事业作出了巨大贡献,与此同时,我国也形成了
沙棘(Hippophae rhamnoides Linn.)拥有2500~4000万年的悠久历史,生长在盐碱瘠薄的环境中,具有防风固沙、保持水土的特性,含有多种对人体有利的生物活性物质,包括氨基酸、脂肪酸和
大学生有没有信仰、信仰什么,不仅仅是一个重大的高等教育问题,还是一个涉及国家意识形态建设的重大政治问题。西方文化的强势渗透、社会参照群体的不当示范、高校思想政治教育
对于桃木的崇拜从上古时代就有相关的故事传说,桃木工艺品在各地也受到人们的喜爱。肥城的桃木工艺品有着自己的独特的制作工艺,具有浓郁的文化气息,品种多样。肥城桃木工艺