Hadoop迭代优化技术的研究

来源 :计算机技术与发展 | 被引量 : 0次 | 上传用户:1by1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Hadoop是处理海量数据的分布式计算框架,已经得到了广泛的应用。但是Hadoop处理图结构数据存在一些不足。图结构数据的强耦合特性,无法通过一次MapReduce计算得出结果,而是需要迭代计算,甚至一次迭代需要多次Ma-pReduce完成。而重新启动MapReduce作业,开销较大,以及迭代过程中可能存在静态数据的不必要传输。文中在Hadoop的基础之上,提出map端存储的策略,即将静态数据存储在map端,在map端完成静态与动态数据相关的计算,减少了整个迭代计算的总运行时间。通过搭建修改过的Hadoo
其他文献
目的探讨硼替佐米皮下注射治疗多发性骨髓瘤(MM)的疗效及不良反应,为优化MM的治疗提供依据。方法 26例采用硼替佐米+地塞米松方案(BD方案)治疗的MM患者,随机分为静推组(14例)和皮下
云计算技术已经越来越得到人们的关注和接受。在保证用户性能的前提下,怎样有效提高服务器资源的利用率,同时又能节约能源已成为一个热门话题。针对云计算环境下虚拟机初次部署
目的探讨分析维持性血液透析(血透)患者亚临床甲状腺功能异常与颈动脉病变的关系。方法 127例行血透患者,其中经检测甲状腺素水平正常者49例作为正常组,甲状腺素水平异常而未达
高等教育产业化趋势是社会主义市场经济发展的客观要求,是知识经济时代高等教育大众化发展的需要,也是高等教育的非义务教育性质所决定的,我国高教产业扫展应遵循供求规律、价值
目的探讨卡前列素氨丁三醇注射液(欣母沛)治疗宫缩乏力性产后出血的临床疗效。方法 59例宫缩乏力性产后出血产妇,通过随机数字法将其分为研究组(30例)与对照组(29例)。对照组采取常
目的分析西米替丁联合喜炎平治疗小儿轮状病毒肠炎的临床效果。方法 200例小儿轮状病毒肠炎患儿,随机分为对照组和观察组,各100例。对照组采取喜炎平进行治疗,观察组采取西米
随着社会进步和科技发展,特别是知识经济时代的到来,必然意味着教育更新和重建,由传统教育走向现代教育。现代教育要求改变传统教育"教师中心、教材中心,课堂中心"状况,建立
英语写作是人们使用英语互通信息、交流思想的重要手段。英语写作课的目的在于培养学生初步的英语写作能力,包括提纲、文章摘要、短文以及简单的应用文。在大学英语教学中,写
传统的互联网有害信息发现方法是依据Google、百度等元搜索工具,用户输入关键词进行检索,然后对获取的结果进行研判,但是用户经常无法准确地描述所需的资料,给出的关键词不准确,搜
目的比较布托啡诺与丙泊酚干预急性呼吸衰竭(ARF)行无创机械通气(NIV)躁动患者的镇静作用情况。方法将118例ARF行NIV治疗的躁动患者分为布托啡诺组(57例)及丙泊酚组(61例),两