【摘 要】
：
MapReduce作为一种分布式计算框架,在大规模数据处理中已经被广泛应用.负载均衡是影响分布式计算性能的关键因素,当前的MapReduce实现在给集群分发任务时,多采用Hash的随机划分方式,无法根据数据的分布情况来调整集群的负载,容易出现负载不均衡的问题.为解决这一问题,对当前的MapReduce框架进行拓展,根据对Map端中间结果的采样来动态确定Reduce任务数目以及划分函数,保证Redu
【机 构】
：
北京大学信息科学技术学院 北京100871;高可信软件技术教育部重点实验室(北京大学) 北京100871
论文部分内容阅读
MapReduce作为一种分布式计算框架,在大规模数据处理中已经被广泛应用.负载均衡是影响分布式计算性能的关键因素,当前的MapReduce实现在给集群分发任务时,多采用Hash的随机划分方式,无法根据数据的分布情况来调整集群的负载,容易出现负载不均衡的问题.为解决这一问题,对当前的MapReduce框架进行拓展,根据对Map端中间结果的采样来动态确定Reduce任务数目以及划分函数,保证Reduce任务的负载均衡具体地,对Map的结果进行采样,并将其发送给Job Tracker.Job Tracker根据采样数据的分布情况动态确定划分函数,以保证每个Reduce任务处理的记录数目均衡.更重要的是,在Hadoop框架内实现了负载均衡方法,测试结果证明方法具有良好的有效性、兼容性和可用性.
其他文献
西双版纳得天独厚的自然环境和气候，使它成为我国著名的孔雀之乡，山脚、溪畔和田边到处可见羽毛绚丽的绿孔雀，傣族人民很早就有饲养绿孔雀的习惯。孔雀在傣族人民心中，是美丽、善
在大地湾遗址,考古学家发现了距今约5 000年的混凝土地面。这样古老的混凝土建筑材料是怎样产生的,文章对此问题进行了论述和推测分析,认为大地湾混凝土的出现不是偶然的,而
根据发掘资料,大地湾先民已把粮食作为主要食物,在经营农业的同时,还兼营畜牧业,饲养家畜,狩猎是生活的补充,陶器是生活用具,大地湾先民已过着比较稳定的定居生活。
从现阶段的社会情况中来看,我国水资源的发展力度在不断提高,对于水资源的开发力度也在不断加大。但是通 过数据表明,我国的水资源长期处于超负荷的利用状态,这直接给我国的
目的观察针刺配合中药塌渍法治疗多囊卵巢综合征（polycystic ovary syndrome,PCOS）的临床疗效,并研究血清炎症因子在多囊卵巢综合征发病过程中变化及作用。方法将72例多囊卵巢
丝路要塞———铁门关，名列中国古代26座名关之末，故被人们称之为“天下最后一关”。因其地势险要，位于新疆库尔勒市北郊8公里处的山间峡谷，扼孔雀河上游峡谷的出口，是沟通南北疆的要道，战略地位非常重要，自古为兵家必争之地。 对铁门关我心仪已久，早想前去一睹雄姿。虽曾多次经过库尔勒市，但每次都因时间紧张，一直没能如愿。去年仲夏，我陪同内地来疆旅游的朋友，终于前往铁门关，领略古时关隘的雄
2005年6月24日北京大学法学院教授贺卫方在网上发表了《关于本人暂停招收硕士生的声明——致北大法学院暨校研究生院负责同志的公开信》的声明，决定自2006年起，不再招收研究生
[目的]探讨经皮穴位电刺激法对肺癌病人化疗后末梢神经炎发生率的影响。[方法]使用便利抽样方法,共选取300例初次进行奥沙利铂化疗的非小细胞肺癌病人,分为常规组100例,穴位
[目的]调查新疆某三级甲等医院糖尿病高危医护人员的患病率及合并代谢综合征的情况,并探讨其相关危险因素.[方法]以新疆某三级甲等医院参加健康体检的3674名无明确糖尿病病史