边缘计算中基于深度强化学习的任务迁移及卸载方法研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:haihanzhi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网(Internet of Things,Io T)技术和第五代移动通信(The Fifth Generation Mobile Communication,5G)技术的快速发展,海量的计算密集型和时延敏感型任务随之产生,给移动边缘计算(Mobile Edge Computing,MEC)系统带来了高负载和高时延等问题。如何将任务向边缘服务器高效迁移卸载,从而提升用户体验质量(Quality of Experience,Qo E),是移动边缘计算需要解决的关键问题之一。本文将移动边缘计算与深度强化学习理论相结合,对移动边缘计算中任务迁移卸载进行了研究。本文主要研究工作如下:1.在多用户和多MEC服务器的异构网络场景,本文提出了一种基于深度强化学习DQN(Deep Q-Networks,DQN)的任务协同迁移卸载方法,缓解了系统高能耗和高时延的问题。通过采取在MEC服务器之间进行任务协同迁移卸载的措施,以最小化系统平均成本为目标,并结合深度强化学习理论,将任务的迁移卸载决策过程构建为马尔可夫决策过程(Markov Decision Process,MDP)。此外,为了改进算法中长期代价的估计,该方法进一步结合竞争体系网络结构(Dueling Network Architecture)、DDQN(Double Deep Q-Networks)技术和优先经验回放机制。仿真结果表明了所提方法能有效减少MEC服务器集群的能耗和时延。2.在单用户和多MEC服务器的异构网络场景,本文提出了一种基于深度强化学习Rainbow DQN的任务迁移卸载方法,缓解了由于用户移动性导致用户体验质量下降的问题。首先以最大化用户体验质量为目标,根据用户移动模式来进行任务迁移卸载。通过结合深度强化学习理论,确定任务迁移卸载过程中的状态、动作以及奖励,并经过模型的学习和训练使代理能够根据用户移动模式进行最优的迁移卸载决策。仿真结果验证了所提方法能有效提升用户体验质量。
其他文献
近年来,我国随着经济地快速增长,城市化进程也不断加快,城市对土地资源的需求也日益增加,然后快速地、无节制地城市扩张给生态环境造成了很大的影响。所以如何科学合理地进行城市扩张以及优化现有的城市空间格局一直都是学者研究热点。但是目前对于城市扩张模型的研究大多数模型都是专注于提高预测精度忽视了对预测结果的可解释的研究,从而导致了目前主流的机器学习、深度学习算法挖掘城市的转化规则缺乏可解释性;并且邻域效应
学位
随着移动互联网的深入发展与5G通信技术的普及,每天产生的海量数据需要从中挖掘有价值的信息,使得传统的分类与聚类算法在大数据场景下面临挑战。为了提高分类准确率与聚类效率,本文从近邻关系角度出发,提出了关于kNN算法与k-means算法的改进方案,以提升两者在大数据场景下的优势。本文的具体工作如下:第一,提出了基于近似近邻的kNN改进算法。由于在不平衡数据集中标准kNN算法寻找的精确邻居不一定是最适合
学位
近年来,随着无线通信技术的进步和智能设备的持续普及,物联网得到了发展,人类社会也进入了全面信息化时代。信息化时代的数据量呈现爆发式增长,而云计算的出现正好可以缓解物联网终端日益增长的存储压力。逐渐地,物联网与云计算结合催生出一种物联网新模式,物联网终端将收集的数据上传至云平台中,再由云平台处理分析后将结果返回给物联网终端,从而释放物联网终端的存储和计算压力。尽管这种模式可以提高社会生产力,但也存在
学位
汽车电动化、智能化、网联化已成为未来发展的必然趋势,智能网联汽车正加速从测试验证步入商业化前夜。然而受既有法律法规的约束,智能网联汽车面临无合法驾驶主体地位、无法合法商业化、事故归责制度不适用、安全监管存在空白等问题。在深入分析智能网联汽车管理难点和重点的基础上,总结了欧美等发达国家及地区面向智能网联汽车商业化管理的立法经验。以全国首部智能网联汽车管理法规——《深圳经济特区智能网联汽车管理条例》为
期刊
<正>近年来我国智能网联汽车产业快速发展,亟需建设相关技术标准体系支撑政府管理,并促进行业有序发展。本文结合《国家车联网产业标准体系建设指南(智能网联汽车)(2018版)》和《国家车联网产业标准体系建设指南(智能网联汽车)(2022年版)》(征求意见稿),通过分析和梳理我国智能网联汽车标准体系建设方案和目标规划,以及现阶段国家标准制定现状、工作重点及国际标准化成果,分析了我国智能网联汽车标准制定的
期刊
报纸
随着卫星传感器技术与图像处理能力的不断发展,遥感图像在国土资源监测、军事侦察等领域发挥着越来越大的作用。由于成像机理及其它因素的限制,经单一传感器获取的地表观测影像信息不够全面,如全色图像的空间分辨率较高但缺少色彩信息;多光谱图像的光谱分辨率较高但地物结构不够清晰。而遥感图像融合技术正好可以集成二者的互补信息,生成具有高空间分辨率的多光谱影像。目前,遥感图像融合算法还存在一些问题。例如,由成分替换
学位
随着脑机接口技术的快速发展,情绪识别已经成为了该领域研究的一个热点。通过可穿戴设备获取的脑电图可以实现对人体情绪的有效监测。近年来,传统机器学习方法和深度学习方法在基于脑电信号的情绪分类任务中都获得了良好的分类效果,然而在实践过程中却面临通道数较多在可穿戴设备上难以应用的问题。一些基于通道选择的研究中通过算法对通道的选择,往往能够在少量通道下获得不错的分类效果。然而这些研究却存在着使用的数据集不统
学位
子宫内膜异位症(Endometriosis,EMs)是育龄期妇女的常见疾病,亦为妇科界研究的疑难病种,临床根治率相对较低。中医药具有多成分多靶点的特点,可以通过干预不同疾病环节,在EMs的临床实践中发挥着日益重要的作用。网络药理学基于大数据库及高级算法,为中医药研究提供了新的方法和策略,广泛应用于中医药的研究中。本文整理归纳近年相关文献,对高频、有效治疗EMs的单味中药、中药药对、中药复方及中成药
期刊
智能网联是我国汽车产业重大战略方向,软件定义汽车成为行业发展方向的重要特征。智能网联汽车软件在线升级可实现全新功能导入、产品性能迭代、用户体验改善,具备经济、高效的显著特征。近年来,在应用规模、范围等方面均大幅提升。但是,汽车软件在线升级涉及升级前、升级中、升级后过程状态,对原有汽车管理模式带来新的挑战,需要综合分析国内外汽车创新管理经验,针对智能网联汽车软件在线升级潜在的安全风险,从管理方面提出
期刊