基于深度强化学习的目标驱动计算卸载机制

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:psetpsetc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着工业物联网中信息量与应用计算复杂度的增加,其中资源受限的设备越来越依赖计算卸载技术。计算卸载技术可以将物联网中轻量级设备所产生的计算需求和数据转移到具有充足计算资源的节点上。一方面可以节约轻量级设备宝贵的计算、存储以及能量资源,另一方面还可以满足应用较高的时延需求。目前计算卸载可分为两种模式,源驱动和目标驱动的计算卸载模式。当前大多数传统计算卸载决策算法都以源驱动计算卸载模式为研究对象,而在新兴的目标驱动计算卸载场景中,传统计算卸载决策算法并不能制定有效的卸载策略。因此研究目标驱动计算卸载模式下的计算卸载决策机制对该模式下的物联网应用发展有重要意义。本文针对两种存在特殊需求的目标驱动计算卸载物联网场景设计了相应的计算卸载决策机制:(1)针对能源受限的,网络环境动态变化的物联网场景,本文提出了基于深度强化学习的目标驱动计算卸载决策机制(Deep reinforcement learning based Destination Driven Computation Offloading Mechanism,D3COM),将结合了深度学习与强化学习的深度强化学习引入目标驱动计算卸载决策模型中,通过神经网络记忆和泛化功能解决了计算节点的局部决策问题,在通过集中式训练分布式执行(Centralized Training Distributed Execution,CTDE)的工作模式减轻节点训练和存储负担,提升网络收敛速度。最后,D3COM通过决策智能体尝试决策过程记录下的数据,学习计算卸载策略与网络状态、任务状态等多维特征之间的关系。实验表明D3COM在减小任务时延以及平衡能耗分布,延长计算网络生存周期方面取得很好的效果。(2)针对存在不同时延敏感类型计算任务的物联网场景特点,即不同类型的计算任务需要个性化地制定计算卸载方案,本文提出了基于混合专家模型(Mixture of Experts,Mo E)理论的优化模块。首先,通过嵌入层将稀疏的One-Hot特征变成了表征能力能高的低维稠密特征,增强任务特征表达能力;其次,在Experts模块中并行学习多个子网络,以此学习多类型任务不同的映射关系;最后用Manager网络自适应地学习时延敏感特征与多个子网络之间的组合关系,实现差异化制定计算卸载策略的功能。实验结果表明,基于Mo E的D3COM模型在基于任务敏感程度制定差异化计算卸载策略方面取得出色表现。
其他文献
基于位置服务(Location Based Services,LBS)在无人驾驶、智能交通、应急救援以及智慧城市等领域上发挥着十分重要的作用。对于室外环境,美国的GPS系统、欧洲的伽利略系统以及中国的北斗卫星系统已经可以提供很好的位置信息,由于卫星信号容易受到建筑物遮挡,这些成熟的定位系统在室内环境的定位性能不是十分理想。随着社会的发展,人们对室内定位的需求也日益增多,定位方案也从单一定位技术逐渐
近年来,电网事故在我国各个地区相继发生,这不仅会扰乱人们的正常生活,还会给国家经济带来不可估量的损失。为了减少电网事故的发生,需要对输电线运行状态进行有效监测。基于随机光纤激光器的点式光纤传感系统具有抗电磁干扰、信噪比高、长距离传感等优势,极其适合应用于电网系统中。然而,随着国家电网规模的扩张,如何进一步提升点式光纤传感系统的性能是今后需要解决的问题。本文在特种传感光纤光缆联合实验室的支持下将一种
声波是信息的重要载体,声波传感技术在石油管道泄漏、设备健康监测、医疗诊断等各个领域有巨大的应用需求。传统的声波传感器多为电子式声波传感器,而随着对光纤传感技术研究的深入,各种光纤声波传感器得到了快速发展。同电子式声波传感器相比,光纤声波传感器体积小、重量轻、检测灵敏度高、抗电磁干扰能力强,能够在极端恶劣环境下使用,并且,光纤较小的传输损耗使得光纤声波传感器能够实现高质量的遥测遥感。近年来,各种原理
现如今的移动设备端产生的应用日渐复杂,需要更强的计算能力来处理,移动边缘计算(MEC)为处理这种任务提供了有效的途径。在移动边缘计算中的任务的卸载和资源的分配问题一直是其中的关键问题。若能实时地做出正确的计算任务卸载决策,合理分配好网络资源和计算资源,对于提升移动边缘计算的服务性能,提高用户体验具有重要的意义。近几年来,强化学习技术不断发展,它在MEC中的应用备受关注。由于MEC场景下环境的不确定
随着互联网技术的飞速发展,人类社会积累了大量的理论知识与实践经验。知识图谱以其高度凝练的语义网络结构,成为一种高效的知识表示手段。知识图谱为人们生活中的多个领域提供便利,包括搜索引擎、问答系统、医疗诊断等等。虽然知识图谱规模以指数级的速度增长,但仍然存在稀疏性与不完整性的问题,如何有效挖掘知识图谱的隐藏语义,推理出潜在事实是一个亟须解决的问题。目前深度学习在自然语言领域取得了突破性的进展,尤其在知
混沌保密光通信依靠复杂的混沌信号实现对传输消息的隐藏和加密,具有良好的加密效果,在保密通信领域中发展前景广阔。其中,外腔反馈半导体激光器凭借其结构简单的优势在混沌光通信中有着重要的应用。但是由于需要发送端和接收端拥有一样参数的激光器,才可以实现高质量的混沌同步,而在实际中,很难找到多个参数完全一致的激光器,这限制了其进一步发展。近些年来,得益于计算机算力的快速提升和新算法的提出,神经网络得到了快速
信号调制作为当下通信过程中必不可少的一环,一直对整个通信系统整体性能以及传输能力产生着极大的影响,而随着现代无线通信技术的发展,调制信号的种类和方式也在不断变多,通信环境中调制信号的区分也变得愈发困难。因而调制识别这种对未知调制信号进行调制种类判断和分类的方法,在电子侦察、电子对抗、频谱检测等多种非合作通信场景下的接收机设计中都有着极大的研究意义,影响着后续通信信号的解调以及通信参数提取的实际性能
近年来,自主移动机器人发展迅速,影响着社会生产生活的各方各面并在其中发挥着愈发重要的作用。基于视觉的同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)技术是自主移动机器人的核心技术,其中的闭环检测(Loop Closure Detection,LCD)环节通过辨别移动机器人是否已访问过当前位置辅助构建全局一致的地图。然而,在实际应用中,光照、
随着智能电子产品中的印刷电路板(Printed Circuit Board,PCB)越来越趋向于小型化,且板上元件密度也越来越大,从而导致PCB布线工作也变得越来越复杂。但是当前电子设计自动化(Electronic Design Automation,EDA)工具内置的自动布线功能布线速度慢且布通率低,当前PCB布线工作仍然主要依赖于人工,从而使得在工业PCB设计过程中仍需要消耗大量的人力资源。因
卷积神经网络近年来成为了解决各类视觉任务的主流选择,包括图像分类,检测跟踪,动作及意图识别等领域。卷积神经网络由一系列卷积层层堆叠构成,而传统卷积层存在着参数量和计算量大的问题,同时网络深度和宽度的提升进一步加剧参数量和计算量的问题,使得这些网络模型往往无法顺利进行移动端部署。因此设计高效的卷积神经网络具有重大的学术及工程价值。针对以上问题,本文提出了一种高效的分组卷积单元,并提出了一种基于深度可