基于多智能体深度强化学习的边缘计算资源配置方法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:thisxyl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
边缘计算通过在网络边缘部署服务和执行计算任务以满足资源匮乏终端设备的时延敏感服务需求,合理的资源配置能够提升边缘计算资源利用率,提高边缘计算系统任务执行成功率。边缘计算中资源配置研究分为任务调度和服务放置两类,现有以任务执行时间预估为代表的任务调度方法,通过对任务执行过程进行精细建模,估计任务在不同边缘服务器执行的时间,将任务调度到预计耗时最短的服务器执行;现有以负载预测为代表的服务放置方法,通过历史负载信息预测未来负载,根据预测结果进行服务放置。然而,部分任务执行依赖于其他任务的执行结果,跨服务器任务执行时间难以预估,且多服务器间存在资源抢占问题,造成任务完成时间预估不准确;现实场景中用户请求随机产生,请求负载难以估计,造成负载预测不准确,且服务器间服务放置决策缺乏协作,存在冗余服务放置,造成资源浪费。针对任务间存在数据依赖、跨服务器任务执行时间预估困难以及多服务器资源抢占导致任务执行成功率低的问题,提出基于多智能体深度强化学习的依赖任务调度算法。首先,考虑边缘计算系统为多智能体系统,假设每个边缘服务器的依赖任务调度由一个智能体控制,每个智能体只能观测到局部状态信息,将与过去状态无关的依赖任务调度过程建模为分布式部分可观测马尔可夫决策过程。其次,使用有向无环图表示任务间的数据依赖关系,通过改进的图注意力网络,实现任务聚合与其存在依赖关系的其他任务特征,提升任务特征表示。再次,将任务特征信息与边缘服务器状态信息作为智能体策略网络的输入,通过近端策略优化算法产生任务调度决策。最后,通过反事实多智能体策略梯度架构建立多智能体间的策略协作,实现边缘服务器间依赖任务调度策略协同。本文对不同服务请求数量、任务时延容忍度和边缘服务器数量情况下的依赖任务调度过程进行了仿真实验,实验结果表明,所提算法任务执行成功率显著优于同类代表性算法,相较于Drag-JDEC算法,在不同服务请求数量的情况下,任务执行成功率平均提高6.7%。针对用户请求负载难以预测、服务器间存在冗余服务放置导致任务执行成功率低的问题,提出基于多智能体深度强化学习的服务放置与资源分配算法。首先,考虑服务放置和资源分配动作为离散-连续混合动作,将与过去状态无关的服务放置和资源分配过程建模为参数化动作马尔可夫决策过程。其次,通过多通道深度Q网络算法,实现参数化动作马尔可夫决策过程求解,采用双网络结构和经验回放技术以增强网络训练的稳定性。最后,通过QMIX架构建立多智能体间的策略协作,实现边缘服务器间服务放置与资源分配策略协同。本文对不同服务种类数量、边缘服务器计算资源数量和边缘服务器数量情况下的服务放置和资源分配过程进行了仿真实验,实验结果表明,所提算法任务执行成功率显著优于同类代表性算法,相较于PDQN算法,在不同边缘服务器数量的情况下,任务执行成功率平均提高5.2%。本文提出的基于多智能体深度强化学习的边缘计算资源配置方法分别对任务调度和服务放置两方面进行优化,实现了更高效的边缘计算资源配置,提升了边缘计算资源利用率,提高了边缘计算系统任务执行成功率。
其他文献
短波通信是实现远距离通信的主要方式,在诸多应用短波通信如海上搜救、森林防火等场景中,短波信号发射源的位置信息具有十分重要的价值。为了实现高精度定位,首先需要建立短波传播路径模型,并根据该模型将短波信号发射源的定位问题描述为某一类的优化问题进行求解。本文研究在电离层QP模型下等效路径模型的建立以及短波信号发射源的定位优化问题的求解方法。论文的主要工作与贡献包括:(1)研究了 QP电离层模型下传播路径
学位
随着物联网的飞速发展,对于物联网应用的SoC系统芯片的需求越来越多。而这些需求中数据的处理量越来越大,对数据存储量、读写速度的要求也越来越高。目前常用的数据通信方式是使用SPI(Serial Peripheral interface)总线进行传输,但传输数据吞吐量有限,一个时钟周期只能传输1位,在目前大容量数据处理系统中显得捉襟见肘。Motorola公司在SPI协议的基础上增加了队列传输机制,从而
学位
随着中外文化交流日益加强,越来越多的优秀国外影视作品涌入我国,字幕翻译也随之而不断发展,字幕翻译在国外优秀影视作品的引进过程中起着举足轻重的作用。优秀的字幕翻译可以使跨文化观影的观众享受到与原版电影观众近乎等效的观影体验,丰富大众文化生活,推动文化传递与交流。本翻译报告是笔者2021年在字幕组参与翻译电影《邻家》的翻译过程与经验总结。笔者主要翻译内容为英文字幕脚本,译文共计10376个汉字。译文完
学位
如何在新的经济环境中提高企业的综合竞争力,应对市场经济的挑战,已成为当今企业面临的重要发展难题之一。而人才是第一资源,是企业提高市场核心竞争力的关键。优化青年员工培训管理,开展职工教育培训,已成为企业打造优质团队,不断注入新鲜血液,完成企业运营任务的有力途径。T发电公司作为一家集发电、供热、售电和新能源项目为一体的综合性能源企业,更加需要培养大量符合高质量发展需要的青年人才。随着业务扩大和人才流动
学位
雷达利用目标对电磁波的反射现象来发现目标并测定其位置,在战争中发挥了关键性作用,如何在纷繁复杂的战场环境中保护己方雷达不受敌方干扰攻击,同时确保雷达的正常工作这一问题逐渐引起广泛关注。在一般情况下,雷达干扰信号识别是雷达抗干扰的前提和基础,只有准确识别干扰信号的干扰样式,特别是威胁性较大的有源干扰信号的干扰样式,才能采取针对性的措施进行干扰抑制,提高己方雷达在现代战场环境中的生存率,因此研究雷达有
学位
表面肌电信号是一种能反映肢体运动的功能状态和肌肉的生理状态的生理电信号。目前在临床医学、康复医学、运动医学等方面有广泛的应用,但是我们对表面肌电信号的特征仍旧不清楚。因此我们使用信息熵对表面肌电信号进行分析。本文研究了正常人在肢体运动时表面肌电信号的分布及信息熵,并与脑卒中引起上肢偏瘫的患者进行比较分析。本文的主要工作和贡献包含以下几个部分:首先,基于时频分析,建立了多组试验者在不同频点上的表面肌
学位
随着数字化技术的成熟和军事需求多样性发展,具有硬件可重组、软件可重构、功能可扩展的软件化雷达已经成为雷达系统研究的重要课题。显控平台作为软件化雷达的上层应用,承载着人机交互的重要功能。本文提出了基于二分查找的一一映射法进行P显实时坐标变换,并以组件为基本开发单元,设计并实现了软件可重构和功能可扩展的软件化雷达显控平台。本文首先调研了软件化雷达的研究背景和国内外研究现状,介绍了显控平台的发展历程以及
学位
随着无线通信设备数量日益增长,频谱环境愈发复杂多变,传统的扩频通信技术在这种情况下,也难以抵抗动态变化的干扰信号。智能抗干扰通信技术具有频谱感知能力,通过智能决策算法,根据干扰信号实时动态地调整通信参数,可以实现在复杂环境中的抗干扰通信能力。智能抗干扰技术的核心在于实现抗干扰决策知识库,求解从环境干扰到抗干扰策略的映射,指导通信过程中的抗干扰动作选择。本文针对这一求解问题,研究了从实际干扰信号中学
学位
雷达波形在雷达系统中起着非常重要的作用,是雷达探测过程中能否获取目标精确信息的重要一环。现代战场环境中存在设备集成度高、频谱资源紧缺等特点,为了减少雷达信号与设备之间通信信号的互相影响,提高频谱利用率,本文对雷达通信一体化信号进行了研究。在研究过程中,针对单载波一体化信号进行设计,通过对通信信号进行码元调制来优化信号指标,从而实现雷达功能。相对于前人工作,本文着眼于一体化信号的快速优化设计方法,将
学位
现代显示技术发展和集成电路的联系日益密切,同时随着互联网和智能应用设备的普及,人们对信息显示方式的高性能需求也逐渐强烈。如何在微小型尺寸设备中实现更好的显示效果,成为当前显示领域中亟待解决的关键问题之一。Micro LED显示技术成为当前显示技术中有效的解决办法。结合当前国内外研究现状,本文充分研究了 Micro LED的工作原理与驱动方式,根据项目的功能需求和主要的技术指标参数,完成了硅基LED
学位