基于深度强化学习的边缘计算卸载算法研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:t_bear
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网技术的发展,移动边缘设备数量呈现爆发式增长。传统的云计算架构无法高效地支持大规模任务的处理,而移动边缘计算(Mobile Edge Computing,MEC)将计算资源和存储资源部署在移动网络边缘,可以满足某些任务的实时性要求。用户设备(User Equipment,UE)可以通过无线信道将计算任务的整体或部分卸载到MEC服务器上进行计算,从而降低时延和能耗,带给用户更好的体验。现有的传统算法通常需要通过复杂的转化和迭代才能获得较好结果,不适用于高实时性的MEC系统,而深度强化学习可以通过探索-回报机制,根据经验进行学习,从而优化目标。因此本文基于深度学习和强化学习,对无依赖关系型任务和依赖关系型任务分别提出了两种不同的计算卸载方法,主要研究和创新内容如下:(1)对于无依赖关系型任务,针对目前仅考虑用户资源以及0-1卸载决策问题,本文综合考虑MEC服务器上有限的资源量,采用强化学习确定性策略梯度算法(Deterministic Policy Gradient Algorithms,DDPG)输出连续动作,提出了基于DDPG算法的部分任务计算卸载和资源分配算法(Partial-Deterministic Policy Gradient Algorithms,P-DDPG)。该方法将任务拆分为部分本地计算、部分卸载计算,在用户容忍的时间内,以时延和能耗的总成本为优化目标,将计算卸载和资源分配问题描述为多目标优化问题。与多种算法相比,P-DDPG更加有效地减少了任务执行的总成本。(2)对于依赖关系型任务,针对未充分考虑任务间的依赖关系以及收敛较慢问题,本文引入了优先级调度以及自定义序列模型,并且采用了强化学习近端策略优化算法(Proximal Policy Optimization,PPO)进行训练,提出了一种基于双向门控循环单元和长短期记忆网络的Seq2Seq网络模型计算卸载方法(Deep Reinforcement Learning-Gated Recurrent Unit,DRL-GRU)。该方法将用户任务建模为有向无环图,将计算卸载问题转化为带注意力机制的Seq2Seq模型预测问题,输入为任务嵌入序列,输出为卸载决策概率分布。实验结果表明,DRL-GRU与多种算法相比在时延和QoS指标上表现较好。
其他文献
报纸
中国新消费企业迎来发展机遇,在复杂多变的市场环境下搭建新连接,涌现出新零售、新电商、新医疗、新教育等新消费业态,对经济增长做出贡献。目前,学界缺乏从商业模式角度深入研究新消费企业如何适应与重构动态的市场环境,更缺乏对商业模式韧性形成机理的系统梳理。因此,本文立足于国内新消费企业崛起的实践背景,聚焦新消费企业商业模式研究情景,结合文献分析和案例研究,探索商业模式韧性维度和形成机理,梳理其创造价值的主
学位
近年来,无线通信网络接入设备急剧增加,频谱资源越发稀缺。认知无线电作为一种频谱共享技术,可处理频谱资源紧张与利用率低下之间的冲突问题。频谱检测作为认知无线电功能实现的关键,借助多用户协作能有效克服单用户检测的局限性。但现有检测技术面临着对检测设备要求高、对环境要求高和依赖先验信息等问题,检测性能还不能达到实际应用的需求。因此,研究快速而准确,且易于实现的频谱检测算法具有重要的理论意义和实用价值。针
学位
报纸
报纸
<正>教材选编的文言文从三年级上册《司马光》到六年级下册《学弈》《两小儿辩日》,都具有篇幅短小、语言精练、浅显易懂的特点。教学时,教师要立足儿童立场,结合学生本身的年龄特点,增强文言文课堂教学的趣味性、创新性,激发学生的学习兴趣,让学生爱学、乐学文言文。一、文言文的课标要求反复细读2022年版课标,“文化自信”“中华优秀传统文化”等词语多次出现,但在三个学段课程目标却没有找到关于文言文的具体教学要
期刊
磺胺甲恶唑(Sulfamethoxazole,SMX)是一种广谱型磺胺类抗生素(Sulfonamides,SAs),广泛用于疾病治疗。SMX具有低吸附、难降解和易累积等特点,导致其广泛存在于各类水体环境中。SMX的长期残留容易导致抗生素抗性基因(Antibiotic resistance genes,ARGs)的增殖和转移,对生态系统和人类健康造成严重威胁。尽管城镇污水处理厂(Wastewater
学位
BES1/BZR1家族是植物所特有的一类转录因子,作为BR信号途径的核心成员,BES1/BZR1主要参与植物生长发育以及胁迫响应,而关于BES1/BZR1在果实成熟方面的调控机制还鲜有报道。番茄果实成熟往往伴随着一系列生理生化反应的发生,包括叶绿体发育及降解重塑、叶绿素代谢以及类胡萝卜素、番茄红素等营养物质的合成。本研究通过生物信息学、遗传转化、生理生化和分子生物学等研究手段,对番茄Sl BES2
学位
电网可靠性评估是量化电网风险水平和识别电网薄弱环节的重要手段。随着社会经济的深入发展,电网的规模和结构日益复杂,新能源并网规模不断扩大,电网运行时的不确定性急剧增加,对这些不确定性产生的影响进行定量评估成为电网可靠性评估领域关注的热点。然而考虑风电出力和节点负荷的相关性使得电网面临复杂的高维概率建模问题,同时可靠性评估也面临计算复杂度高和效率低下的问题。针对以上问题,论文开展了以下研究:(1)针对
学位
目的:分析在周围性面瘫治疗中对患者采取针刺结合康复训练治疗的临床效果。方法:选取厦门市思明区滨海街道社区卫生服务中心2021年1月至2022年12月期间收治的60例周围性面瘫患者,按照随机数字表法分为观察组(针刺结合康复训练)和对照组(单纯针刺治疗),各30例。比较两组患者治疗后临床疗效、Sunnybrook评分、H–B功能分级。结果:观察组患者总有效率高于对照组,差异具有统计学意义(P <0.0
期刊