基于深度强化学习的移动边缘计算中计算、缓存和能量收集的联合优化研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:dwlqw008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据和5G通信的快速发展,如何降低时延和能耗以满足新型应用成为近年来的热门话题之一。移动边缘计算(Mobile Edge Computing,MEC)被认为是一个很有前途的计算范例,通过收集收集大量分布在网络边缘端的空闲设备,将计算和存储能力从云端转移到边缘端,从而提高计算密集型和延迟敏感任务的服务质量(Quality of Service,Qo S)。然而,如何合理设计服务卸载策略是基于MEC的系统所面临的挑战。由于虚拟化使包括通信、计算、缓存和收集在内的许多服务的功能开始趋同化,它们之间的联合优化方案也成为了基于MEC的系统面临的挑战。本文研究了支持MEC系统中计算卸载、内容缓存和能量收集的联合优化问题,以最小化时延和能耗的优化目标。结合当下热门的深度强化学习(Deep Reinforcement Learning,DRL)方法,利用分布式的边缘信息,设计资源分配的最优动态决策。仿真实验证明了我们提出算法的学习能力和性能表现。本文的主要贡献可以概括为以下几个方面:我们首先提出了计算卸载、内容缓存和能量收集三者在支持MEC系统中的联合优化问题,以最小化时间消耗和能量消耗作为优化目标。为了充分利用支持MEC系统的各种信息,我们定义了更加详细的状态、动作和奖赏。考虑到通信网络的动态是无法精确知道的,比如随机到达的任务、时变的信道等,我们无法做出准确的假设,所以我们使用无模型model-free的强化学习方法,而不需要支持MEC系统的先验知识。我们提出了一个新颖的DRL-based算法,来为支持MEC系统做出资源分配的动态决策。其中空间注意力模块是为了更有针对性的优化,多智能体深度确定性策略梯度(Multi-Agent Deep Deterministic Policy Gradient,MADDPG)基准是为了利用到不同边缘的信息,从而进行边缘间的合作和竞争。数值结果表明我们提出的算法在不同场景下都能有较好的性能指标。
其他文献
强化学习,作为一种通过自主交互从反馈中学习的机器学习范式,已经在包括游戏AI、个性化推荐、自动驾驶等多个领域都表现出巨大的应用潜力。然而,良好的模型表现需要海量的数据作为支撑,与之对应的,是计算资源和时间上的高需求,这阻碍了强化学习大规模的应用落地。知识的有效利用可以大幅减轻模型对和海量数据的依赖,从而建立起鲁棒可信赖的智能系统,但在应用中仍面临着挑战:一方面是模型中的知识如何输出,如何将智能体学
大学生是民族的希望、国家的栋梁,加强网络文化下的大学生价值观教育,直接关系到高校人才培养质量、关系到国家意识形态安全、关系到民族实现复兴的宏图伟业。从宏观层面讲,大学生价值观教育是教育引导大学生提高对自己民族、国家的身份认同和文化意识的重要手段,是维护稳定的社会秩序、构建和谐的社会文化系统、凝聚起实现国家强盛和民族振兴的精神力量的重要途径。从微观层面讲,大学生价值观教育能够帮助大学生个体提升对客观
硝酸盐污染在世界范围内普遍存在,不仅对生态环境造成了破坏,对人体健康也造成极大威胁。固相反硝化(SPD)技术由于运行稳定、管理简单等优点被越来越多地应用于水中硝酸盐的去除。生物基塑料聚乳酸作为传统石油基塑料的重要替代品被越来越多地使用,废弃聚乳酸的潜在环境风险及资源化利用逐渐引起人们的关注。已有研究表明分子量小于10,000 g/mol的聚乳酸才可用作SPD中的固相缓释碳源,但废弃聚乳酸分子量通常
在物联网和5G通信的推动下,近年来,移动计算发生了从集中式移动云计算向多接入边缘计算(Multi-Access Edge Computing,MEC)的转变。MEC的主要特征是将移动计算,网络控制和存储推向网络边缘(例如,基站和接入点),以便在资源受限的移动设备上启用计算密集型和延迟关键型应用程序,并能显着减少延迟和移动能源消耗。MEC中有两个关键问题,计算卸载问题与多信道接入问题。计算卸载问题即
学位
学位
在跨境海产品供应链中,产品从原产地到餐桌,中间经历了多个流通环节和组织。一方面,在传统海产品供应链中,存在数据造假、透明度低、难以追踪等问题。另一方面,各组织系统由于异构性,无法进行数据交换和功能互补,产生价值孤岛。区块链技术具有去中心化、不可篡改、可追溯等特点,可确保供应链业务数据透明、可追溯。跨链技术作为实现区块链互操作的重要手段,打破了异构区块链系统之间的隔阂,建立起数据交换和价值流通的桥梁
低压差线性稳压器(LDO)能够提供稳定的、几乎无纹波的输出电压,同时因为它结构简单,输出噪声小,良好的稳压和快速瞬态响应性能等优点,在现代电源管理单元中有着举足轻重的作用。如今电子产品正朝着集成化的方向发展,因此近年来的大多数研究集中在应用于片上系统(So C)方案的无片外电容LDO上。无片外电容LDO设计面临的稳定性和瞬态特性两大难点是当下研究热点,本文针对两大难点设计了一种低功耗瞬态增强型无片
众包测试通过短时间招募大量测试工人对待测软件进行测试,解决了传统测试过程中测试人员组成单一、周期长、成本高的问题。但众包模式下测试人员的非专业和不确定也会导致测试报告质量参差不齐、测试需求覆盖率不达标、重复缺陷报告数量多、效率低的问题。为此,本文设计了“基于知识图谱的众测任务分配技术”,力图通过个性化任务分配充分发挥众包工人在众测中的个体优势和群体智慧,改善上述问题,提高测试报告质量和测试完成效率
随着便携电子设备的广泛应用,小功率直流电源转换器受到人们的青睐。常见12 V电源比如车载电源可以非常便捷地满足很多小型电子设备的供电,为了将其应用于移动电源、玩具电动车、电子秤等6 V电源设备,需要采用降压转换器对车载电源电压进行处理。本论文基于0.18 um BCD工艺,设计一种频率恒定的谷值电流模降压转换器。设计的降压转换器输入电压12 V,输出电压6 V,负载电流从200 m A到2A。由于