MapReduce计算模型下基于虚拟分区的数据倾斜处理方法

来源 :小型微型计算机系统 | 被引量 : 0次 | 上传用户:QCLHQCLH
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对MapReduee计算模型Hash分区策略易引发Reduce阶段输入数据倾斜问题,提出基于Hash虚拟平衡重分区的数据倾斜处理算法HVBR-SH(Hash Virtual Balance Repartitioning based Skew Handling).HVBR—SH在Map阶段采用虚拟分区,使得〈Key,Value〉键值对分散存储,为后续重分区提供更优分区组合;在Reduce阶段,HVBR—SH利用连续虚拟分区平衡重组的方法将收集到的虚拟分区重新划分成与Reduce任务数相同分区,并确保重分区
其他文献
以自东北地区分离的8株大豆慢生根瘤菌为供试菌用交叉凝集反应比较了它们与目前国内外已报道的15株大豆慢生根瘤菌标准血清型菌株之间的血清学关系。研究结果表明:(1)菌株93H10F
近年来,信息技术以日新月异的速度飞快发展,给人们的工作及生活中的方方面面都带来了极大的转变.在信息技术时代,积极加强计算机软件的开发,不断满足各个领域的应用势在必行.
针对国内乡村旅游综合体发展相关内容,做了简单的论述.现阶段,各地区积极打造集“现代农业+文化旅游+田园社区”于一体的现代田园综合体,融合“生产、生活、生态”功能.从功
针对在本机构的历史缺陷数据缺乏的情况下,如何合理利用跨机构的缺陷数据进行预测的问题,提出一种基于迁移的跨机构软件缺陷集成采样预测方法.首先利用跨机构的源缺陷数据和
期刊
11月下旬,WatchGuard公司CEO访华,作为跨国企业的华人CEO,王茁表示了在金融环境很不景气的情况下,他对中国市场的信心,以及今后在中国市场加大投入的决心,并表示非常看好中国
就建筑企业而言,对工程造价所实施的管理与控制工作本身就是一个动态的过程,就需要企业根据内部施工情况的变化和外部市场情况的变化而不断的做出相应的调整.文章以我国当下
本文提出影响安装工程结算审核结果的因素,结合自身经验,通过分析工程量审核、定额清单子目、取费审核,实现工程造价的有效控制.
在飞行器半实物仿真系统中,需要精确模拟飞行器舵面气动载荷,针对舵机运动产生的多余力矩对系统性能的影响,通过构造自适应前馈控制器设计了自适应电动加载系统。基于模型参考自适应控制(MRAC)原理,通过构造合适的李亚普诺夫函数,证明了系统跟踪误差的渐近收敛性。仿真结果表明,自适应电动加载系统有效抑制了多余力矩,系统具有良好的跟踪性能。
现代社会已经进入信息化时代,人们逐渐加大了对信息化的需求,尤其是近年来互联网技术发展速度不断加快,计算机Web网站信息的更新速度也明显提升,但由于人工操作工作量过大,效