基于深度强化学习的边缘计算任务卸载与资源分配策略研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:dl_zsf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智能应用的广泛使用(如增强现实、自动驾驶、目标跟踪等),越来越多的计算密集型任务对移动设备计算能力和任务处理延时提出了更高的要求。移动边缘计算通过将任务卸载到距离终端较近的边缘云上,克服了移动设备计算能力不足的缺点,同时有助于节约设备的能耗。由于边缘云资源是有限的,如何选择计算任务的卸载位置以及为每个任务分配多少计算资源是亟待解决的问题。为了解决这些问题,分别构建单小区单服务器和多小区多服务器面向多用户两种场景下的边缘计算任务卸载与资源分配模型。针对单小区单服务器场景,提出基于深度强化学习的联合任务卸载与资源分配算法。采用基于用户体验的自适应时延和能耗权重因子,构建以最小化所有用户任务时延和能耗为目标的系统模型来满足不同用户的需求。将任务卸载和资源分配优化问题转化为最小化系统消耗问题,并定义一种等价的强化学习形式,即基于所有可能的解定义状态空间,基于计算资源分配策略定义动作空间,并提出终止动作的概念,进一步缩小动作空间。在此基础上,提出两种有效的Q-Learning求解算法和Deep Q Network求解算法。仿真结果表明,与其它基线算法相比,所提出的算法最大程度降低了系统消耗。针对多小区多服务器场景,以最大化系统效用为目标,将卸载决策、通信子信道分配和计算资源分配整合为一个混合整数非线性规划问题。由于问题的组合性,难以直接求解大规模问题的最优解,因此将原始问题分解为具有固定任务卸载决策的计算资源分配、子信道分配和任务卸载优化问题。首先利用KKT(Karush-Kuhn-Tucker)条件得到计算资源分配问题的最优解,同时考虑到信道干扰问题制定了子信道负载均衡策略,然后在任务卸载问题中联合计算资源分配的最优解和子信道负载均衡策略,提出基于Dueling DDQN的多服务器协同任务卸载算法。最后,通过实验验证,所提出的算法可以有效地进行计算卸载和资源分配,从而提高系统效用,降低移动设备的开销。
其他文献
随着化石燃料的过度消耗给地球带来不可逆转的环境伤害,研究人员开始寻求高效存储能量的方法。经过40多年的发展,锂电池储能技术日渐成熟,作为一种高能量密度且环保的技术,锂电池已经被广泛地应用于汽车、消费电子、医学器件与能源存储领域。为了实现能源的高效利用,锂金属电池中首要问题——锂枝晶的生长问题成为亟待解决的重中之重。枝晶这种现象会直接导致电池出现库伦效率降低、循环寿命变短等问题,更有可能引发严重的安
岩性是评估地层特征和储层油气含量的关键,开展储层岩性识别研究对油气勘探和开发具有重要意义。针对传统基于机器学习的岩性识别方法的局限性:1)忽略了岩性和测井序列在深度空间上的相关性;2)未考虑不同油井测井数据的特征、岩性分布差异性的影响,本文以中国江汉地区页岩油井测井数据为研究对象,从原始测井序列数据分析角度出发,利用深度学习和半监督学习理论方法,分别从测井序列数据预处理、同油井岩性分类和跨油井岩性
云计算已经成为了当前主流的信息技术,随着云计算的快速发展,其中的安全问题也日益突出。云环境具有动态性、开放性和异构型的特点,恶意程序很容易转移到云环境中,隐私安全成为了云计算发展中必须要解决的问题。在云环境中,很容易销毁用户隐私窃取行为的痕迹、很难定位和追踪恶意样本来源,因此云环境下的隐私安全问题一直是一个挑战。针对云环境下的隐私安全问题,设计开发了隐私侵犯事件融合与关联分析系统。首先在云环境的入
我国抗击新冠疫情历程曲折,疫情初发期内城市社区缺乏快速高效的组织能力来应对疫情风险,其教训值得反思。本文首先引入民航飞行险境处理中的快速参考手册(QRH)及其蕴含的“危机自救”与“范式指引”两大核心理念,探讨面对传染病风险治理新挑战而引入新理念的必要性,并从比较飞行危机处理与传染病疫情防控的类似性、梳理QRH理念对社区防控方式的借鉴性这两方面说明QRH理念对传染病社区防控的理论适用性。接下来,本文
容器虚拟化越来越流行,在云计算平台上很多应用都基于容器环境来执行。和虚拟机相比,容器由于采用共享宿主机内核的方法,在性能表现上更加突出,但同时也牺牲了隔离性。内存带宽作为容器间竞争十分剧烈的资源,在多容器环境下,由于不同负载容器存在不同的内存带宽敏感性,某些容器过量占用内存带宽,其他容器内存带宽需求无法得到满足,从而造成某些容器性能下降严重,而某些容器几乎不受影响,也就是系统不公平性上升。因此一种
信息技术在工业场景的广泛应用,促进了IT技术与OT技术的融合,传统的工业网络无法满足大带宽、高实时性和高确定性网络传输的要求,因此提出通过时间敏感网络对网络中不同的流提供不同的传输质量服务。近几年时间敏感网络的发展较快,国内还没有对搭建后的TSN网络进行性能测试的工具或系统,因此本文构建了基于边缘计算的时间敏感网络性能测试平台来便捷的测试时间敏感网络的性能。通过分析时间敏感网络性能测试的需求,采用
醌类化合物具有高亲电性去芳构化的特点,是有机合成领域极为重要的一类合成子,但却因易水解和聚合的特性导致许多亚稳类型的醌类化合物无法得到有效应用。针对其低稳定性、难分离的特点,我们基于仿生催化氧化策略,利用hemin/H2O2体系成功实现了亚稳醌亚胺中间体的原位生成,首次实现了这类中间体与N-芳基腙类化合物的1,3-偶极环加成反应,从而发展了一种全新的高效构建1,3,4-噁二嗪类杂环化合物的单步骤分
W(Mo)Te2具有优异的导电性以及独特的配位结构,在电催化领域具有较高应用潜力。发展基于W(Mo)Te2催化剂的结构调控策略对优化其析氢性能十分重要,利用单片电催化微纳器件能够实现单一结构因素调控下的电催化性能的精准确定,避免常规电催化测试中催化剂多种微结构对性能的干扰,基于此,本文发展等离子体处理/激光辐照等表面处理策略,实现单个W(Mo)Te2纳米片表面原子掺杂以及空位的精准构筑,利用单片电
基于日志结构合并树(Log-Structured Merge-tree,LSM-tree)的键值(Key-Value,KV)存储凭借优异的写性能优势广泛应用在写密集型应用场景中。随着NAND闪存技术向更高存储密度的方向发展,NAND闪存的操作单元越来越大,基于NAND闪存的固态盘(Solid State Drive,SSD)容量也越来越大。一方面,更大容量的SSD需要更大的LSM-tree来管理:
内容分发网络(Content Delivery Network,CDN)作为目前承载了全球互联网约70%流量的网络存储架构,在加速网络应用中发挥了重要作用。作为CDN的核心组件,CDN缓存被广泛研究以提高CDN服务质量。然而,随着互联网应用的极速发展,CDN业务不断增长、类型逐渐多样,使得在现有CDN多层缓存架构下,复杂多变的CDN负载为CDN缓存优化带来了挑战。因此,深入分析不同层级、不同业务的