面向动态任务流的粗粒度任务调度算法研究

来源 :武汉理工大学 | 被引量 : 0次 | 上传用户:gj12345678
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算产业的不断升级和技术革新,使用户对云计算提出了更高的要求。任务调度作为云计算中的核心算法,影响着用户的使用体验和云平台的服务效率。但随着任务数量和规模的不断激增、数据中心能耗占比不断增加的情况下,合理高效的任务调度算法成为了云计算研究中的重点及难点问题。一般的任务调度算法,缺乏对实际数据中心负载特征的细致分析,同时很少对任务和资源进行划分,而增加了任务选择资源的范围。因此,本文根据实际数据中心任务到达的特性和任务自身的特点,以各时间段内到达的任务构建动态任务流,提出了一种面向动态任务流的粗粒度任务调度算法,并利用仿真平台对提出的算法进行了实验对比分析。主要研究工作如下:(1)数据中心集群跟踪数据的负载统计和分析。根据Google集群跟踪数据对数据中心负载进行统计与分析,包括机器统计概况:各种机器事件分布统计、每天机器数量分布统计、机器聚类分析;作业统计概况:每天Job数量统计、Job中task数量分布、Job等待和运行时间、任务聚类分析。数据中心负载统计和分析的结果,可以作为数据中心任务调度的依据和支撑。(2)提出了一种任务负载预测模型及任务时间段划分的虚拟机开启策略。根据上述数据中心负载分析结果,对每天到达的任务按小时分割,得到每天各小时内的任务数量。利用改进的周期均值惩罚的长短期记忆网络(Long Short-Term Memory,LSTM)模型,预测未来一天中各小时内的任务数量,以此来构建动态任务流,并按特定时间窗口划分时间段,统计各个时间段的任务数量特征,按需开启虚拟机,降低虚拟机的能耗。实验结果表明,在预测一天中任务数量分布上,基于周期均值惩罚的LSTM预测模型比原始模型在精度上有较大提升,而且经过时间段划分并按需开启虚拟机后,能有效降低不必要的能耗并提高虚拟机的利用率。(3)设计了一种等价类划分的粗粒度任务调度算法。在开启特定数目虚拟机后,需要设计具体的任务调度算法。首先根据云环境下任务和资源异构性、多样性的特点,对任务和资源按照其属性进行量化,建立任务和资源模型。然后运用等价类划分思想对多样化的任务和资源进行划分分类,将划分后的每一组任务按照其平均指令长度分配给执行能力相匹配的资源组,使组内任务分配合理且缩小组内单个任务选择资源的范围。接着在每一组任务的内部调度过程中,采用贪心策略,提高调度整体性能。最后,将本文提出的算法和轮询调度算法、单纯的贪心调度算法、蚁群算法和遗传算法进行了实验对比分析,并以任务总执行时间、任务完成时间、虚拟机负载和利用率作为评价指标。实验结果表明,在任务总执行时间上,本文提出的算法都优于其它所有算法;在任务完成时间和虚拟机利用率上,要优于轮询调度算法和遗传算法;在虚拟机负载上,要优于贪心算法和蚁群算法。
其他文献
随着互联网与智能制造的深度结合,计算机虚拟现实技术得以快速发展,碰撞检测技术作为虚拟现实技术中的重要环节,对智能制造生成效率和质量提高有着重要作用。五轴数控加工作为智能制造产品的重要加工手段,广泛应用于航空航天、汽车、船舶零部件生产领域中,在加工过程中由于增加两个旋转轴,提高灵活性的同时使得加工过程更加复杂难以预测从而引起数控系统干涉碰撞,影响零件加工效率和质量。目前国内外学者对碰撞检测进行大量研
生物活性分子,如抗坏血酸(AA)、氧化型谷胱甘肽(GSSG)和碱性磷酸酯酶(ALP),广泛的存在血清和中枢神经系统中,在人类新陈代谢过程中发挥着重要的作用。谷胱甘肽(GSH),是一种由
近年来,我国油气勘探的重心已经逐渐由常规储层转入深层、超深层储层领域。这类储层钻遇探井较少,井中资料比较稀缺,缺乏基础的岩石物理数据。本文以阿克苏地区塔里木盆地的
19世纪初期,为了解决国内的自由黑人问题,一批政治家们成立了美国殖民协会(American Colonization Society)。它的目标是执行海外殖民计划——将美国的自由黑人运输到非洲大陆。美国殖民协会成立后,就开始谋求联邦政府的资助并且采取了多种措施来获取民众的支持。到1820年代末30年代初,海外殖民事业已取得了长足的进步。与此同时,1820年代末、1830年代也是奴隶制问题开始发酵并
学术研究和数字图书馆的快速发展导致网络上学术论文急剧增多,如何为学者们提供个性化的论文推荐服务成为了数据挖掘领域的研究热点。本文基于深度学习技术从增强论文和用户
目前图像分类任务在CIFAR-10、CIFAR-100和ImageNet等大型通用数据集上获得最优表现的均是基于深度卷积神经网络的方法,但深度卷积神经网络依赖大量已标注的训练样本来优化,
随着传感器网络的快速发展,环境监测等数据流应用越来越多的依赖于云服务。如今许多云服务部署在地理分布式基础设施上,即位于不同地区的云数据中心,以获得更好的性能。地理
柱矢量光束是一种偏振态呈柱对称分布的矢量光束,这种独特的偏振特性,使其在亚波长聚焦方面的特性和应用价值受到广大研究者的青睐。按照柱矢量光束电场分量在空间上的分布特
随着“中国制造2025”强国战略的提出和实施,制造业急速发展,我国从制造业大国逐步成长为制造业强国。数控系统(CNC)在现代制造业中起到了至关重要的作用,伴随着工件造型复杂度的提高,对加工精度和加工效率的要求也逐步提高,传统的加工技术已无法满足加工要求。插补算法是数控系统的核心算法,传统的数控系统只具有直线、圆弧等基本的插补算法,在进行加工时存在加工文件大、机床频繁加减速等问题,影响加工质量。NU
数字X射线成像技术(Computed Radiography,CR)被广泛用于医疗、无损检测和安检等众多领域中,其成像的关键部分是成像板上的荧光粉,目前商用的X射线荧光粉却存在着稳定性差、容