基于深度强化学习的车联网边缘计算技术研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:qjinglihong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
车联网(Internet of Vehicles,Io V)的快速发展使得车载应用层出不穷,其中不乏时延敏感型和计算密集型应用。然而计算资源受限的车辆往往无法满足这些应用的时延要求。将边缘计算技术与车联网结合能够有效解决这个难题。通过边缘计算技术实现车辆任务卸载,并利用路边单元配备的边缘服务器的资源协助车辆处理任务,可有效满足车载应用的时延要求。现有车辆任务的边缘卸载研究大多考虑静态场景,然而车辆的卸载任务在连续时间范围内是一个随机过程,每个时刻车辆任务的卸载决策会改变Io V的边缘卸载环境,进而对下个时刻的卸载决策造成影响,静态场景中往往没有考虑这些影响。针对这个问题,本文提出了车辆任务基于软件定义网络(Software Defined Network,SDN)的动态边缘卸载模型,由边缘SDN控制器统一调度车辆任务。为求解该模型,本文还提出了一种基于深度确定性策略(Deep Deterministic Policy Gradient,DDPG)的车辆可分任务边缘卸载算法。首先根据卸载模型确定DDPG中状态、动作以及奖赏三要素,然后根据这三个要素将模型求解转为马尔科夫决策过程并通过该过程求解动态卸载环境中车辆任务的卸载策略。仿真结果表明,该算法能够在较短连续时间内很好地适应动态卸载场景并有效提高了车辆任务的时延性能。由于边缘服务器的共享性,车辆可将任务上传到其通信范围内边缘服务器进行计算。然而,车辆的不均匀分布导致边缘服务器的任务分配不均、计算资源效率较低或者负载过重等问题。现有大多数工作通过远端云或车辆云来解决边缘服务器负载较重的问题,而对于负载较轻的边缘服务器仍然存在计算资源浪费的问题。本文通过边缘服务器的任务转移来解决上述问题。首先,我们设计分区分级的SDN车联网网络架构,总控制器集中管理和调度边缘服务器的任务。然后基于该架构提出了边缘服务器的负载均衡模型,最小化边缘服务器的负载均方差值。接着提出了一个基于深度Q网络(Deep Q Network,DQN)的边缘服务器负载均衡算法以求解该模型。该算法将多边缘服务器负载决策问题转化为单个服务器依次决策的过程,随后设计奖赏作为每个服务器负载决策的回报机制,并将最小化负载均方差值转化为最大化每个边缘服务器的负载决策的回报(奖赏)的累乘值。仿真结果说明该算法能够显著改善边缘服务器的资源利用率,同时降低任务的处理时延。
其他文献
随着科技的不断进步,船舶机电设备维修管理信息化建设已经取得了阶段性成果,航运企业在自修-航修-厂修三级维修保障体系下,开始逐渐探索如何利用计算机技术高效地解决维修保养工作中故障件在哪一级维修、在何处维修、如何减少维修费用、如何减少维修时间等问题。虽然航运企业依托船舶管理系统、维修管理系统等系统搜集和积累数据信息的手段越来越多,各种信息系统的数据库规模日益扩大,复杂程度也在不断地增长,但是传统的数据
卷积神经网络在以图像识别为中心的各个领域都有广泛的应用。随着机器学习即服务的不断涌现,用户需要上传大量的数据到服务提供商或者不可信云平台,来支持卷积神经网络的模型训练或者分类预测,这些数据中不可避免的包含了隐私的、敏感的信息,导致用户上传的数据在做模型的分类预测时会面临安全威胁。因此,制定一个安全且有效的隐私保护的卷积神经网络图像分类预测方案十分符合实际需求。方案要求既能满足隐私保护,又可以得到正
随着社会的发展,科学技术的进步,在卫星通信、遥感探测和军事等领域,金属介质和均匀介质已经满足不了现代设备对材料的需求了,非均匀介质的研究被提上了日程。矩量法是一种比较经典的研究电磁问题的方法,可以用来解决非均匀介质的电磁问题,但是存在存储量消耗大、计算效率低的弊端,所以对矩量法阻抗矩阵进行压缩分解就很有必要。本文采用插值分解算法(Interpolative Decomposition,ID)来进行
1994年现实虚拟连续体概念被提出,这构成了虚拟现实技术领域的开端,随着先进的计算机视觉技术和芯片技术的持续发展,混合现实系统被不断的整合,逐渐高度集成化,因此在诸多领域出现各种混合现实设备。远程合作作为伴随着工业转移而生的新兴领域受到诸多关注,混合现实设备具备高度的沉浸性、直观的显示能力和人性的交互模式等特性,因此将混合现实与远程合作相结合将产生巨大的实用价值。本论文主要围绕着基于混合现实的远程
航空发动机是现代航空产业中的最为重要的机器,对于控制系统而言,发动机是一种拥有多变量、强非线性和不确定性的复杂对象,发动机控制系统性能的优劣将不仅直接影响到飞机的飞行可靠性和经济性,甚至会危及飞行员的生命安全,所以研究先进的发动机控制技术具有很高的实际意义和理论价值。本文以某型号涡扇发动机为研究对象,以稳态工况点处的发动机模型为被控对象,使用抽功法建立其数学模型用于控制方法的设计。本文的主要工作一
如今,随着互联网行业的发展壮大,一个又一个的软件产品相继问世。互联网和软件不断改变着人们的认知和生活方式,也提高了人们的生活质量,与此同时,人们对软件的功能、性能以及实用性有了更高的要求。企业面对日益增长的业务需求,软件系统也逐渐变得复杂,随之软件测试工作也会越来越繁杂,使得软件测试在软件生命周期中占据着越来越大的比重。此时传统的手工测试已经不能满足软件测试的需求,自动化测试的重要性越来越突出。而
共形承载天线是一种具备电磁辐射和结构承载功能的结构功能件,具有体积小、重量轻、与载体平台共形、雷达反射截面小等特点,在航天航空领域具有广阔的应用前景。微滴喷射三维打印是制造共形承载天线的一种可行技术途径。与传统的平面叠层三维打印不同,共形承载天线需在曲面上实现介质基板和导电图形的打印以保证其电性能,因此曲面上微滴的精确铺展就成为影响成形精度和性能的关键问题之一。本文分析了非展开曲面上微滴铺展的关键
本文将研究分布式电子侦察预处理系统中的相关技术,构建完整的雷达脉冲信号预处理系统,并对相关技术进行改进。在预处理系统中,首先对截获雷达脉冲信号进行分解处理,使用分解后的信号计算得到雷达脉冲基本参数,将其组成脉冲描述字(PDW),为后续主处理提供数据支持。同时对原始信号数据进行压缩处理,用于后期进行分布式定位所需的脉冲到达时差(TDOA)估计。电子侦察预处理的关键技术主要包括:数字信道化技术、雷达脉
作为计算机视觉领域的重要研究方向之一,阴影检测旨在精准识别图像中的阴影区域,其在环境光场估计、视频跟踪、目标检测、显著性目标检测等高层图像处理应用中起着至关重要的作用。近年来,随着深度学习技术的快速发展,基于深度学习的阴影检测方法取得了突破性的进展。然而,这些方法仍然存在一些局限性,如网络模型结构复杂,参数量庞大,过度依赖于大规模的训练数据和相应的像素级阴影标签等。针对上述现有阴影检测方法存在的问