基于大数据处理的MapReduce实时优化研究

来源 :电脑知识与技术 | 被引量 : 0次 | 上传用户:h515295585
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,关于大规模数据的处理技术研究也是源源不断。因此大数据的处理也面对着众多难题,伴随着Map Reduce计算框架的出现也暂时缓解了这一难题。众所周知,大规模数据(我们这里通常为PB级甚至EB级)是能够通过Map Reduce进行高效并行处理的,但是在实际的企业运用环境过程中,随着企业对数据处理要求越来越多,而传统的数据仓库在企业实行战略性决策中明显出现时间的实时性不能满足其需求,相应的Map Reduce底层架构和处理模式上的缺陷逐渐显现出来,给企业造成了处理效率、实时更新、执行性能上等方面的一些问题。面对这些问题并且结合企业实际运行需求,本文章主要针对Map Reduce的实时优化研究。该文文中首先对Map Reduce的编程模型和实现机制进行了阐述,其次着重对Map Reduce实时处理优化进行研究,最后对Map Reduce各种优化技术进行了总结和展望。
其他文献
本文概述了青海省农牧区留守儿童的特点,分别分析了青海省农业区和牧区留守儿童的基本现状。指出,在农牧区留守儿童中,单亲监护和隔代监护占很大比例,这两种监护模式对于青少
社会主义核心价值观是社会主义核心价值体系中的一组核心的观念群,社会主义核心价值是社会主义核心价值观中最根本、最核心的价值。我们不仅要在构建社会主义核心价值体系的
<正>磨骨瘦脸改变脸形是近年来整形美容外科的热点,就诊数量不断增加,成为整形美容外科行业的新增长点。所谓改变脸形就是面部轮廓整形手术,是应用颅颌面外科截骨技术,达到改
兴义市土地利用分区是在综合研究区域自然要素和社会经济要素的地域分异的基础上,以充分发挥土地适宜用途、着重体现土地利用结构、利用布局与发展方向,更好地发挥土地资源的
<正>说起上海石库门,几乎无人不晓,而宁波石库门却鲜为人知。其实宁波石库门同上海石库门一样,历史
目的 了解宁波市少年儿童血铅水平 ,及其地域分布特征。 方法 采取整群抽样和分层抽样的方法抽取宁波市 4个区 (县、市 )的小学、幼儿园少年儿童 114 7名进行血铅测定 ,按
应用有限元软件ANSYS建立了隧道计算模型,采用平面应变模式的弹塑性方法及Druck-Prager屈服准则,对该隧道的开挖和支护进行了模拟计算,分别得到了各个开挖阶段和支护后的位移
<正>近年来,随着来自关注环境问题利害相关者的压力不断增长,人们对于环境相关成本的重要性不断增加以及现有会计实务缺陷的不断认同,环境管理会计(EMA)作为一门较为新兴的学
<正> 列宁关于苏维埃政权建设的理论,是一个引人注目的研究题目。本人感到,以往的研究中存在着两种偏向。本文从分析这两种偏向入手,也来谈谈列宁关于苏维埃建设的理论。一在
选取寒冷地区大型高铁客站,采用环境测试与问卷调查结合的方法,开展室内物理环境质量与旅客满意度的测试与调研,包括热环境、光环境、声环境、空气质量等,对高铁客站室内环境