分布计算系统中高效任务调度技术研究与实现

来源 :东南大学 | 被引量 : 0次 | 上传用户:showlisy1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据、人工智能等领域的发展,任务调度的需求量不断增加、应用场景不断丰富,同时任务的触发条件也愈加复杂,现有的分布式任务调度系统难以应对复杂的业务场景。一方面,现有支持DAG任务、批量任务的调度系统多针对Map Reduce计算框架,缺乏对其他平台任务的支持;另一方面,现有的分布式任务调度系统缺乏对高效任务调度算法的支持,任务调度低效,容易出现负载不均的情况。针对以上问题本文建立分布式任务调度系统模型,提出了针对DAG任务和批量任务的任务调度算法,设计并实现了支持多种任务类型的分布式任务调度系统。本文的主要工作和贡献为:(1)针对DAG任务调度问题,建立了任务调度失效模型,提出了一种DAG任务调度算法GA-EFT。GA-EFT算法将寻解范围缩小至有效解空间,从而改善了遗传算法求解任务调度问题时收敛过慢的问题。仿真实验表明,GA-EFT算法收敛速度较快,具有良好的调度性能,并且可以有效减少任务因失效造成的时间浪费。相较于传统遗传算法、蚁群算法和HEFT算法,平均失效时间占比分别下降了12.8%、16.4%和30.5%。(2)针对启发式、元启发式DAG任务调度算法处理优化空间较小的DAG任务时算法耗时较长的问题,提出了一种自适应DAG任务调度算法ORPBA。ORPBA算法根据DAG任务的基本特征对优化空间进行预测,并选择恰当的任务调度算法对其进行调度。仿真实验表明,ORPBA算法在任务调度执行总耗费时间方面相较于GA-EFT算法减少了11.9%。(3)针对批量任务调度问题,提出了针对批量任务调度的SAMM算法。SAMM算法通过自适应调整负载信息采集方案,在保证执行节点负载均衡的基础上提升批量任务调度的性能。仿真实验表明,SAMM算法作为Max-Min方法的改进方案,算法平均耗时占动态Max-Min方法的21.6%,相较于静态Max-Min方法平均调度性能提升了19.6%,在任务的总耗费时间方面相较于动态、静态两种方法都有较明显提升。(4)设计并实现面向业务操作、支持DAG任务和批量任务调度的分布式任务调度原型系统,并进行了功能和性能测试。测试结果表明该原型系统达到了预期设计目标。
其他文献
期刊
在当今信息社会中,需要更多高质量的图像,社交网络的广泛流行使得美颜图像应运而生,美颜图像的恢复已经成为热门的研究课题。本文对美颜图像恢复方法的研究主要分为两个部分,其一是对含噪美颜图像的去噪方法研究,其二是对从美颜图像中还原出原始的未美化之前的图像还原方法研究。经验模式分解(Empirical Mode Decomposition,EMD)提出并使用在信号处理中,由于EMD良好的分解性能,将其拓展
学位
近年来卷积神经网络在图像分类领域取得了突破性进展,但是由于网络模型较大,数据量和计算量导致了算法模型运算效率不高。部分人通过将卷积运算转为矩阵运算,并使用现有的矩阵运算加速架构进行加速,但是这一过程导致了了内存重复调用造成的时序浪费问题,并未完全实现加速的目标。有些人通过算法模型的精简给硬件加速器的设计提供了基础,MobileNet-V2就是其中之一。本文以MobileNet-V2作为算法模型框架
学位
形状记忆高分子(SMP)是一种重要的智能材料,将SMP暴露在外界环境刺激(温度、电场、光、磁场、p H)后能够恢复其初始(永久)形状。基于形状记忆高分子的这种特性,SMP已经广泛应用到各种领域,包括柔性电子、软体机器人、生物医学、航空航天等领域。传统的热响应型形状记忆高分子是通过直接加热的方式促使材料的形状恢复,通过直接加热的方式往往加热效率低且热量不可控。电驱动形状记忆高分子材料由于其独特的电变
学位
近年来,超分子化学发展迅速,已成为化学学科的一个重要分支。超分子化学主要研究两种或两种以上分子之间通过非共价键形式的作用,具有构筑方法简便,易于可逆调控、自修复等优点。在50多年的发展中,超分子化学经历了冠醚、环糊精、杯芳烃、葫芦脲、柱芳烃五代经典大环主体分子。杯芳烃作为第三代大环主体分子,因其空腔大小的可调、易于衍生化、构象可变、分子络合能力良好、能与电中性微粒和带电离子形成主客体包合物等优势而
学位
研究背景:心房颤动(Atrial Fibrillation,AF),是临床上最常见的心律失常之一,将会增加5倍的脑卒中风险。我国房颤的终生风险大约为20%,且随着年龄增加而升高,老年人群房颤的疾病负担是一个重大的公共卫生问题。对于长期未被识别和治疗的房颤患者,从阵发性到持续性或永久性房颤的进展可能更快。两样本孟德尔随机化(Two Sample Mendelian Randomization,TSM
学位
水声信标信号的检测在海洋搜救工作中需求强烈,是水声信号处理的重要课题之一。由于水声信标信号脉冲短,在远距离或高背景噪声条件下检测困难,再加上实际海洋信道多径效应、多普勒频移等影响,难度更大。本文结合水声信标信号的特点,开展高增益、高稳健时频处理方法研究和实际数据试验验证。具体工作如下:(1)本文详细分析了水声信标信号的特点以及影响信号检测的多种因素。以此为基础,提出了多拷贝相关积分匹配检测以及峰值
学位
“审丑”在当代社会中被广泛运用,已成为一种独特的审美潮流。“丑”作为一种区别于以往纯粹的“美”,被以多类的表现形式、多元的表达内容运用在影视的艺术创作中,逐渐形成受众认可、市场热捧的审美趋势。国产动画电影也明显地出现“审丑”的倾向,其角色形象设定在技术、风格等方面皆与上个世纪国产动画电影产生很大不同。以近十年来两部最具代表性的国产动画电影为例:《哪吒之魔童降世》中,主角哪吒烟熏妆式的面部扮相、痞气
学位
改革开放以来中国已成为城镇化高速发展的国家之一。然而,在我国城镇化深度推进的过程中,却出现了城市土地资源被粗放低效利用的现象,并表现为城市形态的分散化和城市布局的低密度化,给城市经济的高效可持续增长带来挑战。此外,由于土地城镇化速度明显快于人口城镇化,土地与人口之间比例失衡的问题给城市经济增长带来诸多困扰。因此,基于当前中国城市土地盲目、冒进的扩张态势,以及人地关系不协调现象的广泛存在,开展城市土
学位
目的:缺血性脑卒中作为一种急性脑循环障碍性疾病,具有极高的致残率和致死率。缺血性脑卒中治疗的关键是在疾病发生后尽快采用溶栓药物处理,并使用神经保护剂修复受损神经功能,降低后遗症风险和恶性程度。近年来,分子病理学研究发现,脑卒中所致的血管闭塞引发的“Stroke cascade”信号级联反应是导致神经细胞死亡的主要原因。目前处于研发或者临床应用阶段的各种神经保护剂仅仅只针对“Stroke casca
学位