基于深度强化学习的5G移动边缘计算中的计算卸载研究

来源 :浙江工商大学 | 被引量 : 0次 | 上传用户:zhxg01
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着无线通信和物联网的高速发展,移动设备数量急剧增长,数据流量呈现爆炸式增长。各类新型应用也层出不穷,比如增强现实、无人驾驶和虚拟现实(Virtual Reality,VR)等,其中VR更是有望成为第五代移动通信技术(5th Generation Mobile Communication Technology,5G)杀手级应用。这些应用都对设备的计算能力提出了更高的要求。然而,移动设备的计算能力和电池容量十分有限,这些应用的运行会带来较高的计算延迟及能耗。移动边缘计算(Mobile Edge Computing,MEC)的出现为解决这些问题提供了新的途径。移动设备通过将这些新型应用程序卸载到计算资源相对丰富的MEC服务器上执行,可以有效降低计算任务的执行时延和能耗,提升用户体验。但MEC技术也带来了很多挑战,其中计算任务的卸载问题尤为突出。一个高效的计算卸载策略可以提升用户体验以及MEC中各维度资源的利用。因此如何根据现有复杂的网络环境、有限的且动态变化的各维度资源(比如计算资源、通信资源等)来制定高效的计算卸载策略具有至关重要的意义。本文针对多用户多MEC服务器系统下的计算卸载问题展开研究。主要工作以下:(1)研究多用户多MEC服务器系统下面向VR应用的动态计算卸载问题。首先,基于5G MEC异构网络,综合考虑计算资源和通信资源动态变化、随机任务到达、任务缓冲队列及用户的移动性等这些实际情况,将该问题以时延为优化目标建立数学模型。然后考虑到集中式的计算卸载算法有随着用户数量增多而面临维度爆炸、运算效率降低的缺点。因此将该计算卸载问题建模为部分可观测马尔可夫决策模型,并采用多智能体深度确定性策略梯度算法(Multi-Agent Deep Deterministic Policy Gradient,MADDPG)来解决该问题。该算法集中式训练、分布式执行,可以根据各维度资源和用户位置的变化情况,动态制定各个用户任务的卸载策略,从而降低所有用户任务的时延。最后进行实验仿真,通过与其他几种基线算法对比,验证了本文提出的卸载算法可以在不同的系统状态下做出更好的卸载策略,更好地降低任务的时延。(2)研究多用户多MEC服务器系统下考虑了服务器负载均衡的自适应计算卸载问题。首先,将该问题以时延、能耗和负载均衡为目标建立了数学模型。然后考虑到在计算卸载过程中,每个用户需要同时做出离散变量的卸载决策和连续变量的计算资源分配决策这一混合动作。其中,针对连续变量的计算资源,常用的做法是将其离散化,但这会导致性能变差。因此本文提出了针对混合动作空间的多智能体混合循环近端策略优化算法(Multi-Agent Hybrid Recurrent Proximal Policy Optimization,MAHRPPO)来解决该问题。最后通过仿真实验与其他几种基线算法对比,证明该算法在优化时延、能耗和负载均衡方面具有更好的效果,且鲁棒性更强。
其他文献
基于深度卷积神经网络的齿科分割可以自动对齿科的视频和三维点云数据进行逐点分类,节省大量医疗资源。广大学者针对如何精确且高效地在齿科的视频和三维点云数据上做语义和实例的分割做了巨大的努力。然而,在点云实例分割中,当前基于中心点或预测框的齿科点云实例分割方法无法有效克服齿科分割边界模糊的困难;当前的齿科点云实例分割方法无法有效融合异构数据以提升分割准确率。在视频分割中,当前的齿科视频分割方法无法在物体
学位
云计算具有动态扩展、随需应变服务以及成本低廉等一系列优势,受到了大量用户和企业的青睐,在学术界和工业界掀起研究热潮。但是云计算在为用户带来便利的同时,也会对客户端以及外包数据安全构成一定威胁。为了缓解这个问题,数据属主会在外包数据给云服务器之前先加密这些数据。然而,加密引起的数据结构变化,使得传统明文搜索方法不再适用,这就导致用户对加密数据进行搜索时会面临许多困难。因此,用户需要既可以保证数据机密
学位
随着多媒体技术的发展和移动智能设备的普及,互联网上的视频数量呈现爆炸式增长的趋势。在这个背景下,关于用户如何快速、准确地找到需要的视频逐渐引起研究者的兴趣。当下产品化的视频检索技术通过关键字匹配进行,它受限于关键字的质量,关键字的缺失或者与视频内容无关都会影响检索的效果;而关键字这种形式本身也无法像自然语言一样灵活地表述复杂的需求和视频内容。另一方面,尽管是文本检索视频的任务,但基于关键字的检索本
学位
区块链被誉为第四次工业革命中最具颠覆性的创新技术,是国家核心技术自主创新的重要突破口,已被纳入国家新基建发展战略。区块链技术的兴起推动了智能合约的广泛应用,去中心化应用因此得以迅猛发展。然而,智能合约安全漏洞事件的频发,不仅造成了严重的经济损失,也给整个区块链生态的可信交易环境带来了巨大的安全风险。近年来,学术界和工业界越来越多的研究人员开始致力于智能合约安全漏洞检测,以期准确地检测出智能合约中的
学位
<正>集团公司自2015年组建以来,历经业务及人员融合重组,企业文化再建,经过七年的发展,主营业务取得了较好的成绩,随着“十四五”规划的启动,如何更好加强干部人才队伍的建设显得尤为重要,其中建设更加适合的干部人才能力素质模型来指导人才选育,建立科学、量化、直观的数学评价模型更加精准地评价干部人才更是重中之重。
期刊
现如今,Mashup服务作为一种轻量级的服务组合模型,将多个Open API或远程服务组合成一个复合的应用程序,以满足开发人员复杂的需求,已经成为一种流行的开发方法。Mashup服务被广泛应用于云计算、移动互联网、面向服务计算等领域。使用Open API,开发人员不需要从头开始开发Mashup服务,只要通过重用Internet上的Open API,就可以使得开发人员的开发效率得到极大提高。在网络上
学位
作为新一代新型电力系统,智能电网实现了电能供求的高效传输和分配,以其高效管理和优质服务备受电力用户和电网运营商的广泛信赖。然而,通过智能电表对用户用电量数据进行频繁采集,通过公开的互联网进行数据传输,以及对用户的细粒度数据进行挖掘分析等,都对用户的隐私保护和数据安全造成极大的威胁。因此,亟需研究和设计高效可靠的安全智能电网系统。针对以上问题,本文主要聚焦以下两方面研究:一是用户通信数据安全和隐私保
学位
作为口腔修复CAD/CAM系统中的重要组成部分,口腔修复CAD技术主要是通过匹配系统中的标准牙齿模型来确定患牙的牙齿轮廓,然后通过手工调整标准牙齿模型完成牙齿形状的设计工作,然而,这种方式不仅需要花费医生大量时间,而且设计结果易受医生经验影响。针对该问题,本文提出了一种基于卷积神经网络的牙齿形状自动化设计方法,主要解决了牙齿设计工作流程中牙齿的形状设计以及后续模型的形变问题,具体工作如下:针对当前
学位
现实世界中,实体与实体之间的各种联系都可以用相应复杂网络来建模和表示,例如用户之间的交互关系可以建模为社交网络,蛋白质之间的相互作用可以建模为蛋白质网络,基因之间的调控关系可以建模为生物网络。随着科技的进步和社会的发展,事物间的联系变得更加紧密,相应的网络规模也不断扩大。为了对这些网络进行研究,我们通常会将网络抽象为数据结构中的图结构。其中,网络中的实体对应图中的节点,实体之间的联系对应图中节点之
学位
工会干部是工会工作的核心力量,其能力素质水平在一定程度上决定了工会工作的质量。构建工会干部的能力素质体系并对其进行科学合理的评价,是推进工会干部能力素质提升工程的重要一环。本文以中国宝武钢铁集团有限公司工会为例,针对国有企业工会干部知识储备不高、学习动力不足等问题,探索国有企业工会干部能力素质评价体系的构建和改进建议,提出建立“阶梯式”工会干部培训体系、打造“三库一体”培训资源保障体系和完善以“效
期刊