MapReduce中同类机排序极小化最大完工时间问题

来源 :曲阜师范大学 | 被引量 : 0次 | 上传用户:benxiaohai741
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
MapReduce是一种流行的批处理框架,用于大规模数据集的并行运算,其主要作用是分布式集群节点分析、保持数据局部原则、使数据更加真实有效.本文主要研究h台同类机,reduce任务可中断和不可中断的MapReduce在线排序模型,目标函数是极小化工件的最大完工时间.本文结构安排如下:第一章主要介绍排序问题的基本知识、MapReduce的基本概念.第二章主要研究h台同类机reduce任务可中断的在线MapReduce排序问题,工件以over list释放.目标函数是极小化工件的最大完工时间.在MapReduce排序模型中有两个假设:一是MapReduce排序的map任务可以并行加工,而reduce任务不可并行加工.二是必须得等一个工件中的map任务加工完成之后才可以加工reduce任务.本章仍沿用这种假设,即假设map任务可以无限分割,即可并行加工,而reduce任务不可并行加工,但在本章中,工件的reduce任务可以中断,该模型假设为只有当map任务完成之后才可以知道reduce任务的信息,所以在本章中设计的算法为工件到达之后先将所有map任务分到h台机器上,使得加工完map任务的h台机器的完工时间相等,对于reduce任务可中断的情况,我们采用了文[26]提出的McNaughton’s around rule这一方法,该方法得到的机器的完工时间为Cmax=max(?),本章利用该方法设计了一个近似算法,给出了近似算法的竞争比的上界为2―(?),其中S1 ≥ S2 ≥...≥sh,其sj是机器j的加工速度,k0为使得Tk/Bk(1 ≤k≤h)达到最大值的机器的编号,h是机器台数,其中Tk = |r1| + |r2| +...+ |rk|,Bk=s1 + s2+…+sk,|r1|≥|r2|≥ …≥ |rm|,|ri| 是第i长reduce任务的长度.第三章同样研究了h台同类机在线的MapReduce在线排序问题,与第二章不同的是:本章研究了 reduce任务不可中断的情况,工件以over list释放,目标为极小化工件的最大完工时间,同样假设一个工件的map任务完成之后才可以知道该工件reduce任务的信息,本章所采用的算法思想是:对于到达的工件将map任务放在h台机器上加工,使得加工完map任务的机器完工时间均相等,然后将reduce任务以LPT规则排序,依据经典排序的LPT规则,设计了近似算法,并得到了该近似算法的竞争比的上界.第四章是总结了全文主要内容,并对接下来的努力方向提供了参考.
其他文献
长江中下游成矿带A型花岗岩与铀(金)矿床(化)具有密切的时空关系,目前关于区内A型花岗岩的成因存在较大争议,系统地开展A型花岗岩的成因研究,不仅有助于深刻理解长江中下游中生代
部分大陆下地壳和俯冲带深部均发现有地震或者较弱的不稳定滑动现象,因此其根源可能与基性岩在脆性域的力学性质有关。因为断层在不稳定滑动过程中会产生碎屑物质,碎屑物质在
激光光束能量一般呈高斯分布,这种能量非均匀分布的特性会导致材料在局部范围内产生热累积,影响加工效果的一致性,极大的限制了激光技术的发展。光束整形技术可以改变光束的
本文主要研究了Fast-Lipschitz优化。这是2011年,由C.Fischion提出的分布式优化的一种特殊情况。Fast-Lipschitz优化是求解优化问题的一种框架结构,这种框架主要考虑一些特定
在传统、现代乃至于后现代叠加的语境下,媒体在整个社会具有举足轻重的地位。媒介化社会的到来,使得新媒体技术渗透到公众日常生活的各个角落,新媒介正成为连接生活,编制生产
氮肥作为提高粮食作物所必须的营养元素以供给其生长,在提高产量及品质的同时,也因植物不能将氮肥完全吸收,致使土壤盐碱化及水域的富营养化严重。而豆科植物与根瘤菌之间形
聚类分析是当前机器学习的一个研究热点,它旨在将数据集合拆分组成若干有意义的簇(也叫“类”),从而实现对数据的解释和识别。基于图的聚类(本文中也简称为图聚类)是一种较新的聚
化学教材是化学课程改革的核心,是化学课堂教学的重要依据,培养学生化学学科核心素养的重要载体。随着《普通高中化学课程标准(2017版)》的正式颁布,对教育部2019年审定的高中化学新教材的比较分析与实施研究将成为化学教育研究热点。本研究通过分析比较不同版高中化学新教材的内容与特色,以期帮助一线教师了解普通高中化学新教材的特色,选择丰富的素材寓教于学,也便于教材编写者对教材的进一步修订。基于梳理有关教
学位
紫坪铺水库位于龙门山断裂带上中央断裂的岷江拐弯处,这是一个构造变形的特殊部位。紫坪铺水库在2005年9月30日开始蓄水后频发一些密集的小震,这些小震大多集中在水库区域(10
等离子体(plasma)又叫做电浆,是由部分电子被剥夺后的原子及原子团被电离后产生的正负离子组成的离子化气体状物质为了探寻放电等离子体对土壤性质的影响,我们提出了放电等离