基于深度强化学习的云任务调度研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:fujinfa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算是一个异构的分布式计算平台,通过虚拟化技术为用户提供方便可扩展的网络、服务器、存储、软件等资源服务。近年来,随着云计算作为信息技术产业的发展重点,全球的各行各业都开始利用云计算,并依此开展信息化转型的进程。同时随着互联网的发展与5G技术的逐渐普及,高速的网络通道与廉价的算力这些优点都使将计算移交到云端成为一种必然趋势。随着云计算业务的日益增长,其庞大的负载规模与动态变化的特性为其任务调度带来了严峻的挑战。合理的任务调度策略能将任务分配到合适的处理资源上以满足用户需求、提高资源利用率、降低运营成本,因此任务调度算法对云平台的性能稳定及平台收益有着重要影响,具有重要研究意义。由于云环境的动态性与复杂性,云任务调度问题已被证明是NP完全难题。如何在复杂的云环境中分配任务以有效地利用分布式资源,实现计算系统的负载均衡,降低能耗以及确保服务质量都是云任务调度研究的重点目标。大多数调度算法都需要精确的数学建模,并且难以应对大规模动态调度问题,同时在云计算环境中任务和资源是动态变化的,这导致其建立精确模型的难度很高。深度强化学习将深度学习的感知力与强化学习的决策力相结合,展现出对于云任务调度这类复杂决策问题进行学习控制的潜力。本文的主要研究内容如下:(1)对云计算的在线任务调度问题进行建模,提出了一种在服务水平协议约束下的基于双深度Q学习算法的自适应在线任务调度算法。算法中考虑了云计算环境和任务负载的动态变化情况,通过状态空间和奖励函数的设计,利用强化学习最大化累积奖励的特点使其能在任务负载和虚拟机数量可变的情况下自适应地学习具有长期收益的决策策略。实验表明该方法能根据不同负载切换主要优化目标,能以权重影响成本与吞吐量二者的优化主次,在完工时间、成本、逾期时间等优化目标上具有不错的表现。(2)针对云计算环境中的大规模任务调度问题,提出了一种基于分层深度强化学习算法的分层任务调度框架。该框架将若干虚拟机组成的集合称为虚拟机集群,并以分层调度的方式缩小问题规模,当调度框架在接收到任务请求时先将任务分配到集群,再经由集群内的任务调度器分配到虚拟机。该调度框架中使用深度强化学习设计了调度器,调度器通过对各层的状态空间与回报函数的设计使其能适应云计算环境动态的变化,并通过不断学习调整自身的调度策略。实验表明能有效的根据负载权衡成本与性能之间的关系,在负载均衡、成本、逾期时间等优化目标上有明显的优化效果。
其他文献
鸦片战争后,西方列强从政治、经济、文化等多方面对中国进行殖民统治和文化入侵,唱片作为西方舶来品,从它诞生之初即毅然肩负起了在中国大地进行文化渗入的责任。而作为西方爵士乐变体的最初的中国流行音乐,之所以能够在近代上海兴起与传播,则在很大程度上取决于唱片的媒介作用。唱片在经历了从最初的西方纯进口到一系列的本土化过程后,终于在中国形成了策划、灌音、生产、宣传、销售一体的唱片产业模式,并迅速在上海形成了唱
学位
本研究在梳理角色认同相关文献的基础上,采用网络电子问卷发放和半结构化访谈的调查方法,从自我角色、特殊角色、社会地位、自我期待四个维度上了解高等职业院校教师角色认同的现状,利用SPSS 23.0统计软件对调查数据进行统计与分析,同时对半结构化访谈资料进行整理,归纳出高职教师在角色认同过程中存在的问题及影响因素,并提出有针对性的解决策略。通过对高职教师角色认同整体情况的了解以及对不同性别、年龄、教龄、
学位
随着金盾工程的开展和智慧警务的推进,公安机关信息化建设迅猛发展、信息技术日益成熟,公安工作越来越依赖于信息系统,信息安全的重要性与日俱增。公安机关信息系统汇集着涉及国家秘密和公民隐私的海量信息,一旦出现信息安全问题不仅影响公安业务的正常开展,甚至会损害国家安全和人民群众的切身利益。因此准确识别公安机关信息安全风险因素,构建科学、有效的信息安全风险评估模型,采取适当的风险防范措施对提高公安机关信息安
学位
分布式数据存储因其具备海量存储、易扩展和低成本的优点已成为企事业单位大规模数据存储的主流方式。但随着系统规模的不断扩大,存储数据磁盘的负载不断增加,存储节点出现数据故障已是常见的现象,影响了数据存储的可靠性。多副本技术通过创建数据副本写入多个不同储存节点,能大幅提升数据存储的可靠性,但其存在存储开销过大的问题。局部修复码(Locally Repairable Code,LRC)采用将数据节点进行分
学位
中华民族文化基因的核心内容是思维方式和价值观念。“天人合一”的原型意象构成了中华民族的基本思维模式;以“中”达“和”的“中和”思想是中国传统文化的价值追求。以中华文化基因为理论基础,对北京中轴线的文化内涵进行根本性剖析,力图深化北京中轴线申遗的理论依据与价值内涵。一方面,对“中”的字源及“尚中”思想溯源,以阐明历代都城营建中轴线的发展脉络蕴涵着崇尚“中和”的价值基因;另一方面,探究“礼贯天人”礼法
期刊
NAND闪存凭借着读写速度快、体积小和容量大等优势,成为数据存储的主流存储介质。2D NAND闪存在物理尺寸上已经接近极限,限制了存储容量提升。3D NAND闪存通过在垂直方向上进行堆叠,大幅提升了存储容量,但对存储可靠性带来了新的挑战。随着3D NAND闪存的广泛普及,提升3D NAND的数据存储可靠性是当前存储领域的研究热点之一。尽管以往的阈值电压检测技术和基于软判决的低密度奇偶校验(Low-
学位
网络化控制系统(Networked Control Systems,NCSs)是集成传感器、控制器、执行器和网络的复杂系统。相较于传统的控制系统,网络化控制系统显示出许多独特的优势,如灵活的体系结构、较低的安装和维护成本,以及高效的数据传输效率。因此,网络化控制系统在交通管理、机器人控制、移动传感器网络、远程手术、无人机和远程控制等领域都得到了广泛的应用。然而在实际应用中,由于网络的共享特性,特别
学位
智能时代,大数据、云计算等高新技术的快速发展,使得公安情报工作建设朝着专业化、信息化、规范化等目标持续奋进,公安情报队伍建设迈上了新的台阶,对公安情报人员也提出了更高的要求和标准。本文着力于研究公安情报人员的成长发展,探究成长路径,构建公安情报人员成长模型,期冀推动公安情报人员的知识创新与能力提升,促进公安情报工作的平稳运行和升级发展。在文献分析的基础上,首先,介绍了本研究的背景、意义与内容、方法
学位
冲突控制是指个体克服无关信息的干扰,将精力集中于目标刺激的能力。冲突适应是衡量冲突控制的指标之一,可以考察个体连续的冲突控制能力。我们每天都需要对各种信息进行冲突控制,包括社交活动中产生的社会信息。而自闭症以及高自闭特质个体对社会信息的加工异常已经得到证实,那么对社会信息的异常加工是否会影响他们对社会信息的冲突控制?本研究采用冲突适应这一指标,考察了社会信息对高自闭特质个体不同类型冲突控制的影响,
学位
近年来,由于物联网、人工智能、5G等智能信息技术的快速发展,加之先进的网络通信模式,这使得网络空间中的在线服务数量不断增加。随之而来的是网络安全事故发生的风险也在不断上升,各种新型网络攻击可能会对国家和社会安全造成极大的威胁和伤害,这需要引起全体网络安全研究人员的高度重视。恶意网络流量检测系统可以作为应对上述问题的可靠方案,但是在面对海量的高维网络流量数据时,目前的恶意网络流量检测方法在准确率和泛
学位