基于深度强化学习的资源协作式车辆任务卸载策略研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:kui5387
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
车联网是推动智能交通系统发展的重要技术之一。在5G和人工智能等新兴技术的帮助下,车联网市场衍生出了大量时延敏感型和计算密集型应用。这些应用虽然可以提高驾驶安全并改善当前交通状态,但是给车辆的计算、存储和通信能力都带来了严峻的考验。为了缓解上述矛盾,移动云计算和移动边缘计算(Mobile Edge Computing,MEC)相继被引入到车联网中以提供计算卸载服务。此时,有效的计算卸载策略对于降低时延,提高服务质量具有重要意义。由于MEC的资源更靠近车辆,具有时延低、可靠性高的优点,目前大部分工作集中于对边缘计算卸载问题的研究。但是MEC服务器的资源相对有限,难以应对请求密集的场景。因此,本文从多MEC横向协作和边云纵向协作两个角度出发,对车联网中的资源协作式计算卸载问题展开了深入的研究。为了实现服务器资源的有效融合和协作,首先构建了基于软件定义网络的车辆计算卸载架构。其次,针对多MEC横向协作和边云纵向协作两个具体的场景,分别提出了基于深度强化学习的任务卸载决策机制,可以实时制定卸载策略以适应车联网的动态性并提高计算卸载性能。具体的研究工作概括如下:(1)研究了车联网中多MEC横向协作的计算卸载与负载均衡联合优化问题。由于MEC服务器资源受限且MEC间的计算请求分布不均匀,设计有效的计算卸载策略,协调多个MEC的资源以实现负载均衡并提高资源利用率至关重要。本文首先确定了通信模型、计算模型和负载均衡模型,并以系统平均成本最小化为目标构建了约束优化问题。为了确定卸载目标服务器、资源分配方案和任务卸载比例,提出了一种分步求解的策略。首先基于深度强化学习设计了一种计算卸载和负载均衡联合优化算法,该算法能够综合考虑所有任务请求以及服务器的资源分布,实时为车辆确定卸载目标服务器。其次,在卸载策略确定的情况下,先后提出了基于任务优先级的单服务器资源分配方案以及卸载比例计算方法,获得的资源分配方案和卸载比例将用于计算实时奖励来反向训练决策模型。实验结果表明,与其他基线算法相比,本文提出的方案不仅可以均衡负载,时延和任务完成比例的性能也获得了很大的提升。(2)研究了车联网中边云纵向协作的卸载决策优化问题。云服务器的强大计算能力可以用来缓解边缘服务器资源有限的问题,所以能够有效协调二者资源的任务卸载策略至关重要。考虑到任务属性之间的差异性,本文首先根据任务对时延和计算资源的需求为其划分优先级,并将其作为卸载节点选择和资源分配的重要参考标准之一。其次,综合考虑优先级、时延和计算资源成本构建了任务平均效用最大化问题,并形式化为马尔科夫决策过程,即设计状态空间、动作空间和奖励函数。在此基础上,基于深度强化学习提出了一种自适应的卸载决策机制。仿真结果表明,相比于全部卸载和平均分配资源两种策略,本文算法的平均效用至少提升了1倍,任务和高优先级任务的完成比例至少提高了20%。
其他文献
近年来,城市生活垃圾呈现逐年增长的态势,使用传统燃油车无疑造成能源消耗和环境负担,为有效解决垃圾产生量逐年递增和实现绿色发展间的矛盾,国家出台一系列政策推动生活垃圾的分类回收,推动公共领域用车全面电动化,支持生活垃圾分类回收的智能化发展。为此,以电动车代替燃油车实现垃圾分类前端收集与后端处理间的高效衔接与流转,成为城市环卫领域的发展方向。本文以电动车为研究对象,针对城市生活垃圾分类回收领域中垃圾收
学位
安全是高铁施工和运行的最根本的要求,也是保证联调联试各项试验顺利进行的前提。目前,我国高速铁路仍在进行大量的建设,在未来的一段时期内,将会有许多新建的高铁投入运营,联调联试是新建高速铁路动态验收的关键环节,运用现代风险管理理论和方法对高速铁路联调联试安全风险进行分析和评价并进行科学有效的管控,确保高速铁路联调联试安全,显得尤为重要。本文按照高速铁路联调联试项目工作阶段结合测试项目的方法,通过问卷调
学位
随着我国新型城镇化改革的不断深入,越来越多的劳动者向城市聚集,这种人口和产业的聚集在为城市带来发展动能的同时,也带来了“城市病”。其中,道路交通拥堵问题始终是中国城市发展过程中的主要问题之一,人口的大规模聚集使得城市的交通需求与供给失衡。由于交通拥堵的产生与区域的道路交通供给能力直接相关,当路网通行能力超过道路通行能力供给的上限后就会产生交通拥堵。所以,合理调节与控制区域路网的实际流入车辆数是缓解
学位
铁路车站调车作业在铁路运输系统中发挥着举足轻重的作用。由于车站环境复杂,线路密集,作业繁忙,调车车列的编组状态经常发生变化,机车多为电传动内燃机车,制动方式以空气制动为主并且制动过程具有迟滞性,这些因素对司机驾驶技术要求较高,导致经常出现冒进信号、挤岔、脱轨等事故,严重影响作业安全和作业效率。因此,开展站内调车安全防护方法研究具有重要意义。站内调车安全防护的关键在于对调车车列实现安全精确定位,对车
学位
中国传统村落是华夏文明的传承者,也是我国历史变迁的缩影。在经济发展与社会变迁为人们带去便利的同时,也对传统村落造成了一定程度的破坏,对我国传统村落进行保护迫在眉睫。为了对传统村落进行保护,首先得对其进行大量的研究,只有在认识传统村落本身的历史与艺术价值、明确把握地域特征的基础上,才能够在保存历史原真性的同时找到能够使传统村落可持续发展的适应性道路。我国对传统村落的研究起源于上世纪30年代,从田野调
学位
信号系统安装调试是城市轨道交通建设过程中的最后一道工序,通常面临工期紧、任务重、配合专业多、现场环境复杂等不利条件。同时,由于多专业混合、交叉施工的情况客观存在,各专业各自为战,施工现场缺乏统一管理和信息互通,现场环境瞬息万变,某一方的失误可能对他方构成严重的安全危害,现场安全管理难度极大。而信号系统作为城市轨道交通行车过程中保障行车安全、提升运营效率的关键系统,其安装调试期的质量和安全历来受到各
学位
电力线故障是影响高速铁路供电安全的主要因素之一。现有故障处理采用配电所跳闸切除,造成整条供电臂全线停电;铁路供电状态监控缺乏动态显示功能,不能显示故障位置,不利于快速处理应急突发状况。为此,本文对高铁电力线的安全供电保障和动态可视化监控展开研究。针对高铁电力线故障切除停电范围大、供电恢复速度慢的问题,提出一种新的安全供电保障策略:线路故障时故障点两侧箱变开关跳闸闭锁、两侧配电所重合/备自投,实现快
学位
随着储能技术的快速发展,储能方式已经成为国际上解决城轨再生能量利用问题的主流方案,包括地面式和车载式两种应用形式。由于单一的地面储能系统或车载储能系统都不能在保证节能率的前提下有效降低再生制动回收失效发生的概率,因此为了提高再生制动能量利用率,本文提出用车载储能系统代替制动电阻,与地面储能系统结合共同吸收再生制动能量并稳定牵引网电压,有效抑制再生制动回收失效的发生。围绕车载-地面储能系统的应用,就
学位
“交通强国,铁路先行”。伴随着中国铁路的迅猛发展,路网不断加密,铁路技术创新取得多项重大突破。但同时,国家铁路网密度的结构不均衡也愈加明显。在国家经济发展路径全面转向创新驱动的背景下,我国铁路是否实现了从要素和投资拉动到创新主导的转变?进而,路网密度在铁路全要素生产率(TFP)演进过程中发挥了怎样的作用,二者存在怎样的关联。本文通过测算铁路动态TFP指标,并对其演进过程与路网密度的关系做理论分析和
学位
动量效应和反转效应是对有效市场假说的背离,动量效应代表资产价格延续以往的涨跌趋势,反转效应则代表资产价格与之前的涨跌趋势相反,这两种持续存在的现象在传统的金融框架下显得格格不入。随后,行为金融学逐渐发展,带给了学者对这两种异象新的思考方向。大部分学者认为动量效应源于投资者对于当前信息的过度反应,反转效应则对应于金融市场对过度反应的修正。在以上理论基础的背景下,本文的研究重点是我国黑色系期货市场的动
学位