基于深度强化学习的MEC网络计算卸载和资源分配方案研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:conglishan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
新兴业务对强大计算能力、高容量、低时延和低能耗的需求,对网络性能提出了更高的要求。从移动边缘计算扩展到多接入边缘计算(Multi-Access Edge Computing,MEC),MEC作为一种有效的分布式计算模式,通过将资源部署在网络边缘就近为用户提供计算卸载服务,能够有效地降低延迟,提升服务质量(Quality of Service,QoS)。然而随着用户设备的激增,当存在大量用户竞争有限的资源时,需要设计合理的计算卸载和资源分配策略以进一步提升MEC系统的性能。强化学习由于其特性天然适合于随机动态环境下的自动控制和决策问题,而深度强化学习更是综合了深度学习和强化学习的优势,使其非常适合于解决MEC计算卸载的相关问题。本文基于深度强化学习,从不同角度出发研究了 MEC系统的计算卸载和资源分配策略。论文内容总结如下:(1)针对基站的高能耗问题,研究了绿色能源供应模式下,MEC使能的超密集网络(Ultra-dense Networks,UDNs)中的卸载策略与资源分配的联合优化。优化目标设计为最小化系统计算代价,该代价由时延和能耗的加权和定义,以满足不同用户的任务需求。为求解该问题,提出了一种基于深度强化学习的集中式解决方案将原始问题分成两阶段求解。仿真结果表明,该方案在计算代价和用户超时率方面具有良好的性能,并能实现负载均衡。(2)针对异构服务并存,MEC整合边缘缓存形成了联合卸载策略、缓存策略和资源分配的多维优化问题,以使系统收益最大化。同时考虑复杂的动态场景,为满足MEC系统的实时性要求,提出了一种基于多智能体强化学习的分布式优化方案以降低求解复杂度。经过仿真验证,提出的方案在尽量保证异构用户公平性的同时,能够有效的提升用户任务成功率并降低用户时延。
其他文献
随着无网络区域临时网络覆盖和热点区域补充网络覆盖的需求增加,地面蜂窝通信网络无法精确、及时地满足上述需求。凭借高移动性、灵活部署、高经济效益等优点,无人机网络有望突破传统地面蜂窝网络限制,为目标区域网络覆盖提供新的可能,因此近年来受到学术界和产业界的广泛关注。然而,无人机网络的小区平均吞吐量、边缘用户速率、平均用户速率等性能,难以通过理论分析和外场测试部署获得。为此,本文搭建了面向无人机通信组网的
钙钛矿纳米线腔内的激子-光子的强耦合作用由于具有较大的拉比劈裂能量和激子结合能,是制备室温极化激子的理想材料。尽管如此,仍需探索新的方法来促进激子-光子的耦合强度,以维持激子和光子的相干性。表面等离激元可以通过减小有效模式体积和增强局域电场的强度来增强激子-光子耦合。我们的工作探究了一种存在于由无机-有机钙钛矿纳米线,二氧化硅(SiO2)薄膜,以及银(Ag)薄膜组成的三明治式的杂化结构内的激子-光
近年来,深度学习图像分类算法发展迅速,并在实际应用中取得了巨大的成功。然而,有监督深度学习模型需要使用大量有标记数据和多轮迭代来进行训练。其高昂的标注成本严重限制了传统方法在全新类别的场景中的应用。更重要的是,针对这些特殊类别的大量标注样本可能很难或者不能获得,因此需要大样本数据来训练模型的条件从本质上限制了它们预测新出现的(例如,新出现的设备)或稀有(例如,稀有动物)类别的能力,从而使得原有模型
电动出租车轨迹描述了电动出租车空间位置和其他属性随时间的变化,蕴含了大量的居民出行信息,也反映了电动出租司机的充电习惯和出行特征。本文通过轨迹数据可视分析方法对深圳电动出租车的轨迹数据进行研究,并开发出电动出租车轨迹数据可视分析系统,支持多维度、全方面分析电动出租车在深圳的推广运营情况,从而对电动出租车行业的健康发展提出建议。本文的研究内容主要包括以下几个方面:1.充电事件提取及可视分析。根据电动
第五代移动通信(The Fifth Generation Mobile Communication,5G)和B5G(Beyond 5G)技术既要支持各种类型设备接入,还需满足海量数据流量需求,以支持物联网、人工智能等领域的通信业务。在一些特殊通信场景中,例如灾害应急通信、热点地区扩容,地面通信基础设施遭损坏或难以部署,使得通信质量无法得到保障。搭载无线通信设备的无人机作为空中基站辅助地面蜂窝网路,
得益于各行各业数字化、信息化、智能化程度的不断提高,人们对移动电子设备的依赖也在不断加深。这种依赖不仅体现在对峰值速率,业务时延等传统性能指标上,同时也体现在用户体验、终端续航时长等方面。为了满足这些需求,终端需要在不对传统指标造成较大影响的情况下进一步提升自身的能量效率,减少不必要的能量浪费。非连续接收机制是在提升终端能量效率方面的一项重要解决方案,这一解决方案在较早时间点就已经被引入了协议。目
近年来随着信息网络技术的飞速发展,信息流量需求飞速增长,需要建立高速率、大容量、广覆盖的空天地一体化通信网络系统。而目前卫星之间、星地之间的数据传输主要是微波为载体的通信。由于微波频率资源和技术限制,以微波为载体的卫星通信速率很难有很大提升。而卫星激光通信技术由于设备体积小、抗干扰能力强、保密性强、通信速率提升空间大等优点,为实现星间、星地高速率数据传输提供了新的解决方案。因此,卫星激光通信成为卫
在现如今的移动通信技术研究中,高速数据传输和高频谱效率是重要的研究方向,超奈奎斯特(Faster-than-Nyquist,FTN)传输技术通过压缩相邻脉冲之间的发送间隔来提高频谱效率。低密度奇偶校验卷积码(Low-density Parity-check Convolutional Code,LDPC-CC)作为前项纠错编码(Forward Error Correction,FEC)中的一种码字
雪崩光电二极管(Avalanche photodiode,以下简称APD)由于其在盖革模式下可以实现对单光子信号探测的特性被广泛地运用于量子通信、激光雷达、成像探测、地理监测等各个高精尖科技领域,受到了越来越多的关注。随着应用场景的增多,APD工作环境的温度变化使其无法维持稳定的性能。本文针对APD盖革模式下的温度灵敏性及雪崩自持特性带来的问题,形成了硅APD控制电路相关研究工作,具体研究内容如下
目前国内外的IT领域中linux内核的开发和应用已经非常普遍,应用的领域包括服务器操作系统软件、手机等便携设备、云计算、物联网、智能硬件等产品。未来linux内核的应用会更加广泛,各企业面临的机会和挑战也更多。本文在市场、技术、管理三个方面对项目管理风险进行研究,有助于企业在项目研发中识别、分析和应对风险,保证项目的准确性、有效性、进度和质量,提升产品的竞争力。本文的研究主要有以下几个步骤。(1)