一种基于Value均值的MapReduce任务分配策略

来源 :太原学院学报:自然科学版 | 被引量 : 0次 | 上传用户:itsmoreaaron
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据处理中,MapReduce编程思想是处理海量数据中值得借鉴的思想,其计算任务可分为Map任务与Reduce任务。不同类型的数据,其来源与格式不同,处理时不同Key值的List<Value>集合不同,导致不同Reduce任务节点负载不同,体现在集群上为各个节点任务负载不均衡。针对MapReduce中不同Reduce任务节点负载不均衡问题,在Reduce任务中,将同一Key值的List<Value>集合进行均值处理,并根据Key值进行重新划分,提出一种基于Value均值的Map
其他文献
本文通过粤东航空伽玛能谱资料的整理,总结了航空伽玛能谱特征及其与铀矿化的关系,预测了新的铀成矿远景区。
1 会议概况第13届亚洲遥感会议于1992年10月6-11日在蒙古人民共和国首都乌兰巴托的青年文化中心召开。参加国家除亚洲各国外、还有澳大利亚、新西兰(该两国现已参加亚洲遥感
2018年9月8日,美国海湾石油公司在国内的首个加油站在广州市落地开业。当日,该加油站推出了一系列“优惠政策”:其中,92号汽油价格为5.96元/升,95号汽油价格为6.59元/升,充值
<正> 水硝碱镁矾是一种产于沙漠内某些硝石矿床中的一种罕见含钾钠硝酸硫酸矿物,最早见于智利某些硝石矿床中,又称水氮碱镁矾,杂硝矾。1987年新疆地矿局测试中心薛秀娣鉴定出
2016年,12358全国价格监管平台继续发挥价格监管主渠道作用,平台受理量比2015年增长7.94%,价格举报、投诉总量同比增长75%,平台影响力不断扩大。在行业热点方面,停车收费、物
写作难!多少人这样喟叹。可是,当一个人有话要说,有话非说不可的时候,写作就不是一个被动的应付过程,而成了一种积极的心理需求,不是“要我写”,而是“我要写”。古人曰:“情
在隧道轴线与地表山坡走向或岩层走向夹角较小时,工程开挖后将会产生较为明显的偏压现象,隧道开挖后可能会产生较大的不均匀变形。为分析解决隧道浅埋段偏压的问题,文章分析
为了阐明弯扭复合作用下型钢混凝土(SRC)柱的抗震性能,基于力-位移混合控制加载方法对不同扭弯比的7个SRC柱进行了的低周往复荷载试验,并依据试件的破坏特征、滞回性能、应变数
党的十四大正式确认社会主义市场经济作为我国经济体制改革的目标模式,从而宣告了我国过去传统的计划经济体制的终结,这标志着我国经济体制将发生重大变革,它将使我国从低效