边缘云中基于深度强化学习的任务调度及虚拟网络功能部署研究

来源 :重庆理工大学 | 被引量 : 0次 | 上传用户:zhangyi202
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动通信技术高速发展,用户对服务质量要求愈来愈高。目前对部署问题的研究主要集中于基于静态的系统信息、基于传统优化算法或启发式算法,这些方法仅在一些特定的网络场景会产生良好的部署策略,但网络具有时变性的特点,用户的任务请求的随机性和差异性使得传统的优化算法与启发式算法不再适用于当下在5G加持下更为复杂的移动通信网络,因此我们把研究重点聚焦于基于深度强化学习方法上。基于深度强化学习的虚拟网络功能部署算法是一种能够针对网络动态系统完成在实际场景中解决动态优化问题的方法,算法通过与未知的网络环境实时交互,收集网络状态,并在不断的训练和试错过程中学习到适应当前网络的良好部署策略。论文的主要研究工作和创新点总结如下:(1)针对边缘计算系统中实时到达的对计算资源需求具有差异性的用户任务的调度问题,模拟了分层的边缘云环境,并以在计算资源异构的分层边缘云中进行优化调度用户任务为目标,基于M/M/1排队网络对请求任务在网络中的延迟进行建模,构建了一个最小化用户任务服务延迟的组合优化模型。在求解方法上,不同于已有工作大多采用启发式近似求解的思路,通过综合发挥神经组合优化方法在求解质量方面以及启发式算法在求解效率方面各自的优势,提出了一种将神经组合优化和启发式算法有效结合的新的用户任务调度算法,并通过与多个相关算法的求解结果进行对比实验,结果表明本章提出的调度算法能在相同的边缘云资源配置的条件下,获得更接近理论最优解的调度决策,使得卸载任务获得相对更短的服务延迟。(2)针对边缘计算系统中服务节点计算资源受限的问题,建立了基于边缘云和第三方云的边云协同系统,提出了一个基于混合整数线性规划模型(MILP)共存虚拟机型虚拟网络功能和容器类型虚拟网络功能的最小化代价的部署优化问题,并根据马尔可夫决策过程将该组合优化问题建模为一个MDP模型。针对强化学习中动作空间维度高的维度爆炸问题,构建基于演员-评论家(Actor Critic)的深度强化学习的求解框架,完成对边云协同系统中虚拟网络功能部署问题最小化代价部署策略的求解。此外,通过与多种相关部署算法的求解结果进行仿真对比实验,结果表明提出的求解框架能在相同的边云协同系统资源配置的条件下,获得更接近理论最优解的双重部署决策,使得边云协同系统的总代价保持最低。
其他文献
随着人工智能技术的发展,智能终端已经可以通过频谱感知、通信效果检测分析等方式智能地改变通信手段,进而实现高效率抗干扰,这给传统干扰带来了巨大挑战。而深度强化学习在复杂场景中的探索效率高,面对高难度任务的能力强大,在军事干扰领域应用前景广阔。基于此,介绍深度强化学习、智能干扰方法这两个基本问题的研究现状和存在的难点问题,总结并提出未来基于深度强化学习的智能干扰方法的研究前景和技术展望。
深度强化学习是一种兼具深度学习特征提取能力和强化学习序列决策能力的智能体建模方法,能够弥补传统对手建模方法存在的非平稳性适应差、特征选取复杂、状态空间表示能力不足等问题。本文首先将基于深度强化学习的对手建模方法分为显式建模和隐式建模两类,按照类别梳理相应的理论、模型、算法以及适用场景。随后介绍基于深度强化学习的对手建模技术在不同领域的应用情况,最后总结亟需解决的关键问题以及发展方向,旨在为基于深度
青年是一个充满生机、富有活力的群体,实现中华民族伟大复兴需要青年发挥中流砥柱的作用。青年理想信念的培育与坚定,不仅关乎青年个人成长成才,也关涉国家富强、民族振兴和人民幸福。青年理想信念教育常态化制度化是新时代条件下理想信念教育面临的重要课题。当前高校应从教育引导同实践养成共发力、健全制度与加强治理同步、统筹谋划与分类引导相结合、守正与创新相融合四个方面形成青年理想信念教育的强大合力,不断提高青年理
针对高速飞行器与拦截器的攻防博弈问题,研究了一种基于双深度Q网络(DDQN)的改进算法。该算法针对经典DDQN样本利用效率低的问题,设置多个经验池,并将一轮对抗中Q值的累积时序差分误差(TD-error)与累积奖励值相结合,通过模糊推理计算样本存储至不同经验池中的概率。再根据累积奖励的时序差分误差设计积分抽样器,从不同经验池中抽取样本进行训练。模型的奖励函数设计原则为在成功突防的基础上减少自身机械
镁合金具有密度低、抗震性能好、比强度高、比刚度高、可回收性好等诸多优异性能,在航空航天、汽车零部件和国防军工等领域有很大的应用前景。但是传统铸造工艺制备的镁合金存在因技术特点导致的固有铸造缺陷,难以生产不同功用的结构件。挤压铸造是一种近净成形技术,用于制备镁合金产品可以减少宏观缺陷并获得良好的力学性能。挤压铸造技术按照成形工艺的不同分为直接挤压铸造和间接挤压铸造,间接挤压铸造工艺的基本原理是通过冲
<正>习近平总书记在中央和国家机关党的建设工作会议上明确提出,中央和国家机关必须牢固树立政治机关的意识,要带头做到"两个维护",着力推进中央和国家机关党的政治建设。近期召开的中央和国家机关党的工作暨纪检工作会议再次强调要始终把"两个维护"作为党的政治建设的首要任务,扎实开展强化政治机关意识教育。近年来,国家卫健委规划司党支部认真贯彻落实全面从严治党的要求,牢固树立政治机关意识,坚持以党的政治建设为
期刊
近年来,随着移动互联网的迅速发展,移动用户的规模持续高速增长,传统的移动网络架构已经难以为移动用户提供高质量的网络服务。在此背景下,一种新型的网络架构—移动边缘计算被提出,以期提升网络的服务品质,从而满足移动用户的服务需求。移动边缘计算通过在网络边缘部署服务器来就近处理终端用户的服务需求,借此降低网络延迟与提升移动网络的服务品质。移动边缘计算面临的一个重要问题是:如何对计算任务进行高效地卸载。现有
初中数学教师引导学生有意识地挖掘、分析生活和校园情境中的数学问题,将其引入课堂中,创设数学问题的生活化教学情境,从而激起学生努力学习数学的欲望。采用猜想、检验的学习方式,调动学生学习和运用相关数学知识解决生活问题的积极性,体会“用中学、思中学”的教学过程,发展数学素养,最终达成应用性的教学目标。
近年来随着智能体需要解决的问题越来越复杂,学者们从研究单智能体系统逐渐转为研究多智能体系统。多智能体系统常常被用于搜索遍历,无人监控等场景。使用多智能体系统去搜索一个感兴趣区域已经有很多成熟的算法,但这些算法基本都是针对平坦地形设计的,而实际应用中被搜索遍历的环境往往是不平坦的山地地形等。在针对平坦地形设计的搜索算法中,智能体通常是采用最短路径的方式在导航目标之间移动,在平坦地形下这样的运动即省时
<正>国有企业作为我们党执政兴国的重要支柱和依靠力量,推动理想信念教育常态化制度化成为国有企业提升思想政治工作质量、凝聚改革发展力量的重要途径。中国南方电网有限责任公司(以下简称:南方电网)于2014年启动理想信念教育体验式培训,经过8年的实践探索和迭代更新,形成了“五省六线”的培训体系,为南方电网改革发展提供了精神锻造的熔炉,筑就了理想信念的高地,也为推动理想信念教育常态化制度化进行了丰富的实践
期刊