基于深度强化学习的云资源配置与负载均衡方法研究

来源 :山东师范大学 | 被引量 : 0次 | 上传用户:fspdgx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算作为一种提供现收现付服务的经济模式,通过互联网为最终用户提供各种数据和处理服务。它将网络化的硬件、软件和互联网基础设施汇集在一起,目的是以计量、自助、动态可扩展的方式提供对共享计算资源的按需使用、按需付费服务。云服务提供商(Cloud service providers,CSPs)可以根据用户需求自动调整计算资源,从而最大限度地降低运营成本,具有自主感知和适应用户请求波动的能力。尽管可以使用该特性来提高资源使用效率,但由于云需求负载具有一定的波动性,如何准确确定可用资源是一个具有挑战性的问题。需求负载波动率过高可能会导致CSPs的资源过度利用或利用不足。资源过度利用意味着可用资源的数量(以MIPS为单位)小于客户请求的总MIPS,会增加任务的响应时间,进而违反服务水平协议(Service Level Agreement,SLA)。相反,利用率不足意味着可用资源的MIPS超过客户请求的MIPS,有更多的闲置资源会被浪费,给CSPs带来更多的成本。本文针对上述问题进行了深入的研究,从软件即服务(Software as a Service,Saa S)提供商的角度出发,围绕Saa S应用的资源配置和负载均衡问题,完成了以下工作:(1)资源弹性配置是云服务的一个关键特性,弹性使得云服务能够根据用户需求灵活增加或减少资源,并根据需求为云服务动态分配资源。要配置的资源量是根据工作负载的变化在运行时确定的,为了灵活应对这种波动需求,需要Saa S提供商提前配置适当的资源。本文提出了一种基于深度Q学习网络(Deep Q-Learning Network,DQN)的资源弹性配置方法,使用时间序列预测算法进行预测、DQN进行决策,预先合理配置资源,保障服务质量(Quality of Service,Qo S);同时以自主计算循环结构为架构构建了一个双层动态资源配置框架,一层负责租用资源,另一层负责资源协调共享,提高资源利用率,防止出现过多闲置资源或任务拒绝的现象。最后,通过使用Google数据集进行了多组实验,证明了该资源弹性配置方法可以有效地降低用户请求的拒绝率,并且提高了云资源的利用率以获得更多的利润。(2)随着云计算行业的发展,CSPs的规模在不断扩大,服务器的低利用率会导致大量的电力和计算资源被浪费。所以,CSPs有必要在保证服务质量的同时通过负载均衡技术把服务器的利用率都控制在一个合理的范围之内。本文提出了一种基于竞争深度双Q学习网络(Dueling Double DQN,D3QN)的负载均衡方法,通过任务调度的有效分配实现负载均衡来降低能耗成本;同时基于深度强化学习模型,提出了一个负载均衡框架,利用目标网络和经验回放自动生成最优的长期决策,有效解决各个节点负载不均衡的状况。最后,使用Google数据集进行仿真实验,对具有多种资源需求约束的任务进行资源分配。实验表明,该方法能获得较优的资源利用率,可以有效的降低能耗成本。(3)设计了一个云服务数据管理原型系统,对资源配置和负载均衡进行仿真模拟,同时实现了数据可视化和数据分析两大功能。系统运行过程中数据流状态变化能够通过数据可视化模块监控并记录存储。存储的数据可用来训练算法模型,进一步改善服务,形成良性循环。
其他文献
对超大型城市上海来说,“社区治,则城市安”。社区,是城市的组织细胞,更是人们日常居住生活的载体,任何人的活动都必然依托于一定的社区。各类危害社会安全的事件,必须由特定主体、在一定的社区内逗留、进行一定的准备和策划,也就必然在其活动过的社区留下痕迹或者表现出一定的先兆。广大社区居民是社区的生活主体,往往是各类安全隐患信息的最早发现者,通过完善社区群防群治工作机制,充分调动起广大社区居民的积极性和主动
学位
2021年中国完成了脱贫攻坚任务,全面建成了小康社会。但是绝对贫困的消除并不意味着中国就已经走向了发达国家。很多地区依然有着返贫的风险,与此同时,教育帮扶尤其是职业教育帮扶的潜力仍需要重新认识与研究。脱贫攻坚时期,以“输血式”的帮扶使帮扶对象脱离绝对贫困的现象不少,发挥职业教育特色的教育帮扶不多。在脱贫攻坚结束的后脱贫时代背景下,通过职业学院进行对口帮扶的职业教育帮扶是帮扶地区巩固脱贫成果,防止返
学位
幼儿园运动环境是指幼儿园场所中开展运动活动所需的、对儿童身心发展具有促进作用的物理环境和非物理环境的总和。众多研究显示:高质量幼儿园运动环境的一些因素对儿童运动能力发展具有促进作用。随着国内外各界人士对儿童体质健康的重视,幼儿园运动环境作为影响儿童运动能力发展的重要因素,逐渐受到学前教育研究者的关注,幼儿园运动环境质量研究将逐渐成为一种趋势。本研究聚焦S市幼儿园运动环境质量,力图了解S市M区幼儿园
学位
随着全球化趋势的不断地加深,各国之间的经济文化交流也逐渐成为热点,特别是邻国之间的经济协同发展,在老挝有越来越多的国家进行投资,因此为了规范相关的行为,老挝的外资准入法有着重要的意义。老挝在建国初期对于外来投资限制较为严苛,但是随着全球经济的加速发展,世界经济相互交融成为了不可避免的趋势,因此为了符合当下社会经济的发展需求,老挝逐渐放宽了对外国投资者的投资准入限制。老挝的外资准入法主要是规范国内外
学位
贫困一直以来是凉山州彝区社会经济发展中面临的一大难题。凉山州彝区作为国家深度贫困地区,一直以来是开展扶贫工作的重点对象,投入了大量物力财力,前后大致经历了救济式扶贫、体制性扶贫、开发式扶贫等五个阶段,彝区的贫困人口已大幅下降。在此工作基础上,历经八年脱贫攻坚战之后,凉山州这块难“啃”的骨头也随着脱贫攻坚战的胜利,实现了历史性的脱贫摘帽。由于自然环境、人口素质、风俗习惯等因素,凉山州彝区脱贫后返贫的
学位
以具有空腔结构的β-环糊精(β-CD)为主体、天然抗菌剂茶多酚(TP)为客体,通过共沉淀法制备β-CD/TP包合物。利用红外光谱(FTIR)、广角X射线衍射(WAXD)、扫描电镜(SEM)及差示扫描量热仪(DSC)等分析技术对其化学结构、相态结构、形态结构和热性能进行系统研究。通过单因素法研究包合比例、包合时间和溶液静置时间对TP包合率、产率及负载率的影响,结果表明:当β-CD与TP的包合比例为1
期刊
社交焦虑是指幼儿在面对一个或多个人际交往情境时,因消极认知或社交技能缺乏而产生的退缩、焦虑紧张并回避的行为表现。以往研究发现,社交焦虑对幼儿当前以及未来社会适应均产生消极影响。因此,对社交焦虑幼儿进行适当干预,成为目前学术界与实践工作者的重要任务之一。本研究拟探讨幼儿社交焦虑的一般特征与家庭非过程因素的关系,并通过实验验证,以绘本为载体的干预方法在降低中班幼儿社交焦虑方面的有效性,为早期儿童社交焦
学位
幼儿教师专业自觉是教师专业发展的内部动力,也是幼儿教师专业发展的最高境界。而现实中存在教师反观自身教育实践活动和解读幼儿行为的能力不足等问题,表现为许多幼儿教师对专业的自觉认知不够全面、专业自觉动机不足等。近几年,课程故事作为一种新的实践方式,它的作用被越来越多的专家和一线教师所认可。本研究选取课程故事为载体来提升幼儿教师专业自觉,重点讨论课程故事对幼儿教师专业自觉提升的有效性。本研究在陈水平等人
学位
为了提高石斛碱的水溶性,用环糊精衍生物制备石斛碱包合物,并探讨其包合行为。采用显微分析法、差示扫描量热法(DSC)和薄层色谱法(TLC)对所制备的包合物进行表征,通过分子对接技术模拟包合行为,通过气相色谱法测定包合物的水溶性。各项表征分析均表明石斛碱可以被成功包合,分子模拟表明羟丙基-β-环糊精能完全包埋石斛碱,且其构象稳定,溶解度试验表明石斛碱被包合后在水中的溶解度提升了约277倍。石斛碱环糊精
期刊
高速公路的安全与畅通是社会稳定发展的基础保障,近年来,随着人民生活水平的提高,家庭汽车保有量不断攀升。而节假日高速公路针对部分客运汽车的免费政策也加大了人们通过高速公路出行的频率。山东省作为全国汽车保有量最高的省份,在高速公路交通出行管理中的压力也在加大。对于高速交警来说,警力不足问题也日益凸显。与此同时,随着信息技术的不断发展,大数据技术开始展示其优越性,而利用大数据技术对高速公路交警勤务管理进
学位