基于深度强化学习的MEC在线计算卸载策略研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:yangpin1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着无线通信和移动应用的高速发展,移动智能设备种类越来越多,功能也越来越强大,如物联网、5G、无人机、智能家居、虚拟现实等等。这些新型应用对移动设备的计算能力、续航和能耗等资源都具有了更高的要求,然而移动设备受体积限制,无法满足如此大量的需求,这成为了当前移动设备应用的关键问题。为解决该问题,有专家提出了移动边缘计算技术(MEC),该技术通过在移动设备附近部署服务器,为移动设备提供强大的计算服务,可有效解决移动设备计算资源不足问题。为提高移动设备续航能力、持续为移动设备提供能量,在MEC中进一步引入了无线电能传输技术,该技术可为移动设备提供计算及卸载所需能量,并可将剩余能量转化为电能为移动设备进行充电。本文研究的是在无线供电MEC中实现用户设备剩余能量最大化的目标,可将其表述为用户设备剩余能量最大化问题。目前为解决该问题常把它转换为混合整数规划问题进行建模求解,但传统基于离线状态的数值优化方法很难在快速衰落的无线信道环境中及时做出正确卸载决策。为克服无线信道快速衰落环境的影响,本文提出了一种基于深度强化学习的MEC在线计算卸载算法(DRLO),为用户设备提供最优的二进制卸载策略,从而最大化获取无线传输能量并最小化地消耗用户设备能量,提高移动设备续航能力,为用户提供更好地服务体验。其中二进制卸载决策是计算任务要么全部在无线设备上执行,要么全部卸载到MEC服务器上计算后再将结果返回。本文主要工作如下:(1)建立系统模型。对于一个具有多天线的移动边缘服务器和N个具有单天线用户设备的系统,通过将MEC与无线电能传输技术相结合,基于时分多址通信协议建立系统模型。为实现用户设备整体剩余能量最大化的研究目标,提出了联合优化用户设备卸载决策、无线能量传输时间、任务卸载时间等资源的优化方案,并将该研究目标形式化为移动设备剩余能量最大化问题。(2)问题分析与求解。用户设备剩余能量最大化的形式化问题是一个非凸问题,难以求解,但经分析发现当给定卸载决策后便可将其转化为凸问题从而采用凸优化技术进行求解。因此我们将目标问题拆分为两个子问题,分别是时间资源分配问题和任务卸载问题。对于时间资源分配问题,采用凸优化方法可求解得到相关最优参数;对于任务卸载问题,基于深度强化学习模型构建了输入为无线信道增益,输出为用户设备最大剩余能量的DRLO算法,结合时间资源分配问题中的最优参数,最终获得在无线衰落环境中的MEC在线计算卸载策略,使用户设备剩余能量最大化,延长设备工作时长,提升用户使用体验。(3)实验结果分析。经仿真实验结果表明,本文针对MEC用户设备剩余能量最大化的研究目标而提出的DRLO算法,可为用户提供优于其他传统基准方案的在线计算卸载策略,特别是在用户设备因电量不足或故障等原因而退出系统,或系统接入新设备时,无需人工参与即可及时自动做出调整,具有很好的稳定性与自适应性。
其他文献
近些年来,以黑色素瘤等为例的皮肤癌发病率不断上升,严重危害了人类的生命健康安全。对此类疾病的尽早发现和治疗是提高患者生活质量的重要途径。皮肤镜凭借其无创、简便和能提高检测准确性的优点,在对黑色素瘤等皮肤病变的诊断中得以广泛应用。然而,即使是专业的皮肤科临床医生,在皮肤镜图像上进行人工诊断时也可能发生漏检和错诊的情况。计算机辅助医生进行皮肤镜图像的病变分析,提高皮肤病变诊断的准确率和效率,对于提升患
学位
布尔公式的边缘概率是指所有使布尔逻辑公式可满足的指派中,目标变量赋值为真的概率。获取布尔公式的边缘概率非常有意义,例如,如果我们能对公式中的变量进行准确的随机抽样,那么就可以通过边缘概率推导出模型计数;如果我们能准确计算出公式中所有变量的边缘概率,那么就能快速生成公式的一个可满足的指派。图神经网络是指将图与神经网络结合进行端到端的计算,以便于处理结构化的数据。尽管用于求解布尔公式边缘概率的图神经网
学位
随着互联网技术与人工智能研究的突飞猛进,网络通讯以及智能化系统逐渐步入了人们的日常生活。生活中智能问答,搜索引擎,智能推荐都离不开自然语言处理技术的支撑。自然语言处理技术是人工智能领域的重要研究方向,而其中关系抽取任务是自然语言处理领域的核心问题之一。关系事实以三元组的形式组织世界知识,这些结构化事实充当人类知识的重要角色,并显式地或隐式地隐藏在文本中。从文本中自动化,高效地抽取完整的三元组知识,
学位
目的:比较卵巢储备功能减退(diminished ovarian reserve,DOR)的年轻人群中运用高孕激素状态促排卵(progestin-primed ovarian stimulation,PPOS)方案和促性腺激素释放激素拮抗剂促排卵(gonadotropin-releasing hormone antagonist,GnRH-ant)方案进行IVF/ICSI辅助生殖应用结局,为临床提
学位
提取实体之间的因果关系是获取因果关系知识的基础,也是自然语言理解(Natural language understanding,NLU)任务的一个基本步骤。因果关系往往伴随着实体的时间线索:一个实体的因果关系总是状态的变化或行为的变化,这些变化伴随着时间的变化。据我们所知,时间因果关系提取没有得到与其重要性相一致的足够重视,对于时间因果关系的研究几乎没有,同时带有时间关系和因果关系的数据集更是少之
学位
近年来,黑色素瘤的患病人数有着逐年上升的趋势。黑色素瘤对人们的健康造成了很大的威胁,对它的及早诊断和治疗非常有利于延长患者的生命。皮肤病变图像分割是对皮肤病变图像分类之前关键的一步,良好的分割结果将有助于提升皮肤疾病的分类正确率,帮助临床医生更好地进行诊断。采用人工方式对采集的皮肤病变图像进行标注等对医生的专业知识和经验有较高要求,而且会消耗医生较多的时间与精力,容易出现人为失误,开发自动对皮肤病
学位
对5G专网网络业务质量主动探测进行研究与实现。采用集中式部署,在测试中心远程控制多个网络接口的自动化测试,基于测试数据记录,进行质量实时监控预警,利用图数据库和二叉决策树对预警事件进行推理分析,对故障点进行定界定位。针对现有网络质量监测现状进行对比分析研究,针对不同的要素进行解决方案适配。通过客户切片模拟方式对5G专网网络进行端到端业务质量主动探测,能够快速实时感知业务质量劣化,有效提升运维效率;
期刊
数字图像在获取过程中,由于采集环境、传感器设备等条件不理想,往往会受到不同程度的噪声污染。这种噪声污染具体表现为像素之间存在明显割裂感或出现吸引视觉注意力的孤立像素点或者像素块。随着信息时代的来临,视觉信息尤其是数字图像信息对人们的生活和工作影响越来越大。噪声的存在严重扰乱人们对图像正常、真实的视觉感受,噪声的污染也进一步影响图像增强、图像识别等后续对图像的深度处理和应用。因此对图像降噪以获取更高
学位
子宫内膜异位症(EMs)是一种常见的妇科疾病,主要表现为子宫内膜组织的异位附着和生长,严重危害10%~15%的育龄妇女,患者常表现为重度疼痛或不孕。由于不完全了解其所涉及的潜在机制,药物治疗有很大程度的局限性。我们对临床上中国女性的一些代谢指标进行调查,发现高水平的载脂蛋白A1/载脂蛋白B(Apo A1/Apo B)和脂蛋白a(Lp(a))与子宫内膜异位的发展密切相关。然后,我们建立了两个子宫内膜
学位
肺部CT图像分割是肺部医学图像处理中的一个基础问题,已有一些研究利用深度神经网络实现肺部CT图像的病变区域分割。肺结节的形状和尺寸多变,目标区域小,为提高肺结节的自动分割的精度,本文开展了深度学习肺结节分割方法研究,提出了一种基于特征压缩激活网络的肺部CT图像分割算法。针对U-Net模型在肺结节分割任务中出现的输出结果精度较低问题和网络复杂度提高带来的退化问题,本文在U-Net的编码和解码路径中添
学位