基于强化学习的NUMA架构虚拟机放置算法

来源 :东莞理工学院 | 被引量 : 0次 | 上传用户:birdlay
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在云计算中,常用虚拟化技术实现对资源的高效管理,虚拟机放置优化是提高云计算系统性能的重要手段之一,优秀的虚拟机放置策略不仅为云服务提供商节省大量的成本支出,还可以减少碳排放,保护生态环境。虚拟机放置是指如何使用调度模块不断地调整虚拟机与物理节点的映射关系,来达到最佳的放置策略,使得预定的目标最优。现有的虚拟机放置调度模块多以最低能耗或最高资源利用率为目标,在建模过程中忽略了资源竞争对性能的影响,且没有明确考虑使用非一致性内存访问架构的服务器体系结构。非一致性内存访问架构因可扩展性被广泛应用于云计算中,但其远端内存访问的特性也使系统产生了更多的共享资源竞争,进而导致系统的性能下降,因此亟需融入新的调度模块提升系统性能。针对非一致性内存访问架构的云计算中心,本文提出了一个以优化共享资源竞争为目标的基于强化学习的虚拟机放置解决方案,有效应对虚拟机各类型共享资源竞争。首先通过使用定义的虚拟机数组,将虚拟机放置问题转换为虚拟机放置决策问题,将交叉熵方法作为一种采样技术,采用离散概率分布表示虚拟机绑定物理节点位置,利用最大似然估计求得最佳概率分布质量,将处理器每时钟周期平均执行完成的指令条数用作评估系统内共享资源竞争的衡量指标,并将其抽象为目标函数。本文提出基于强化学习的Post算法求解目标实现策略更新,最后采用多模型决策找出最大目标值,从而获得最优放置策略。实验过程中构建了非一致性内存访问架构下虚拟机的放置模型,在同等环境下,将本文所提算法Post与现有的监督学习算法、策略梯度算法、近端策略优化算法及交叉熵算法进行了对比分析,实验结果表明多模型决策的效果明显优于单模型决策,Post算法在多方面表现优异:1)寻解最优值整体大于其他算法;2)迭代寻优时间上表现更优,且算法的总时间开销较小;3)算法具有较强的鲁棒性。综合实验结果,Post算法在非一致性内存访问架构下可以合理地进行虚拟机放置,通过调整虚拟机与节点的绑定关系,能够在较短的时间内获得最优解,减少虚拟机的共享资源竞争,促进系统的整体性能提升。
其他文献
联邦学习(Federated Learning,FL)作为一种新兴的机器学习范式,可以在边缘进行数据收集、训练和推理。因此,FL被认为是一种有前途且安全的学习机制,因为只有更新的权重会被上传,而原始私有数据是安全的。然而,在零信任环境中,恶意方仍然可以通过权重获得隐私数据,例如参数服务器和FL中的其他参与者。在通常假设参数服务器的半诚实模型下,实现完全的隐私保护并非易事。传统解决方案通常利用密码学
学位
采空区灾害严重影响我国民众生存和社会发展,对采空区避让搬迁的传统方法致使我国土地资源更趋紧缺,资源型矿业城市不得不考虑将采空区重新利用为建筑用地。此外,随着我国城镇化步伐的加快,大量老旧建筑物和基础设施被拆除,产生了大量建筑固废,但大多的处理方法是直接填埋或裸露堆放在城郊,耗用了大量土地资源、造成环境污染等问题。本文从采空区治理现状和需求出发,将建筑固废利用与空区充填相结合,开展建筑固废基空区充填
学位
蛋白质相互作用(Protein-protein Interaction,PPI)是细胞生化反应网络的重要组成部分,是理解生命活动的基础。计算方法是预测蛋白质相互作用的常用方法之一,但大多数计算方法都过于依赖蛋白质序列信息,并且没有考虑假阴性和假阳性数据的影响。针对这些问题,本文做了如下研究工作。(1)基于图神经网络提出了一个新颖的蛋白质相互作用预测模型,即SLFVGA。首先,SLFVGA引入对称非
学位
东阳是我国元胡-水稻轮作技术的发源地和元胡文化代表性区域之一,农耕文化历史底蕴深厚,值得深入挖掘和保护。本文对东阳元胡-水稻轮作系统的历史演变、价值特点进行梳理和分析,并明确其核心保护要素和发展前景。东阳元胡-水稻轮作系统的核心保护要素主要是以元胡、贝母等传统中药材为核心的物种资源、以元胡-水稻轮作技术核心的农耕知识和技术、以及以元胡文化、稻作文化为核心的中药文化和农耕文化等。做好元胡-水稻轮作系
期刊
煤矿空洞型采空区是地下煤炭资源开采完成后留下的巨大空间。这是一个不稳定的人工地质结构,可能退化并导致地面塌陷、矿山地震和其他矿山灾害。处理采空区的最佳方法是注浆充填法,但该方法容易造成材料浪费,同时由于其流动性大且流动范围不可控,易造成充填密实度差、大面积空顶等问题。本研究在触变性水泥浆中加入钼矿冶炼后产生的固体细颗粒钼尾矿砂,通过室内试验和模型试验,研制出一种适用于空洞型采空区的新型注浆材料。该
学位
交通是社会秩序中不可或缺的一部分,便利的交通可以加快社会的运转速度、提升信息交流与物质交换的效率。现如今,人们的出行方式十分丰富,包括步行、自行车、公交车、自驾等,各种形式的交通工具充斥着城市里的每一条街道。骑行作为人们短距离出行的一个重要方式,既便利又环保。共享单车因其租赁和使用的便捷已经被大多数的城市交通管理部门建设为城市交通的一部分。但共享单车存在着一个极为普遍的问题,即供需不平衡:一些站点
学位
化石能源的大量使用所带来的大气二氧化碳(CO2)浓度不断攀升,已经给环境带来了很大的负面影响。而CO2电化学还原反应作为一种极具潜力的CO2资源化再利用技术,有望利用可再生电力将CO2转化成可用的燃料和化工原料,因此,越来越受研究者所青睐。但目前大多数CO2电化学还原电极材料依然存在高过电位、低选择性、低电流密度等相关问题,阻碍了电还原CO2的实际应用,尚需对电极材料进行进一步的改性设计,以解决相
学位
近年来,影响人类社会的可持续发展的一系列经济、社会和环境问题,随着气候变化的加剧而在全球范围内发酵。为此,各国在《巴黎协定》签署后,为应对日益严峻的气候变化问题,纷纷制定了碳中和实施路线图。我国也提出在2030年达到碳达峰、2060年实现碳中和这一新挑战新目标。建筑领域是能源消费的三大领域(工业、交通、建筑)之一,也是直接和间接碳排放的主要责任领域之一。新的机遇促进我们从新的角度去看行业的发展,同
学位
我国汽车保有量的急剧增长引发了停车难、交通拥堵等一系列问题,智能交通系统(Intelligent Traffic Systems,ITS)是解决这些问题的有效途径。而实时交通检测算法则是智能交通系统有效运行的基础。相比传统的交通检测算法,基于新型脉冲相干雷达的交通检测算法在抗干扰,功耗和成本等方面具有独特优势,但是目前基于该雷达的交通检测算法研究还比较少,并且存在以下问题:1)传统的静态交通算法对
学位
西藏地区作为“世界屋脊”,脆弱的生态环境和独特的生物资源表明其具有极高的生态价值。作为我国西部的生态屏障之一,阿里地区地表水水质在全西藏乃至全国整体生态研究中占据重要地位,但对阿里地区地表水环境质量的研究仍较为欠缺。本研究关注了西藏阿里地区2016-2020年地表水22个主要断面的水质,测定了24个水质指标。在以上数据的基础上,采用单因子法、综合污染指数法和内梅罗污染指数法描述了上述断面的水质情况
学位