基于深度强化学习的车辆边缘计算卸载机制的研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:absyou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着车联网的快速发展,车辆正从交通工具转向智能终端,车载网络正面临着为众多车辆提供无处不在的连接和高质量服务的挑战。车辆配备了具有通信、传感和计算能力的车载单元。车辆可以通过无线通信相互通信。然而,车辆的计算能力不足。传统上,云计算具有强大的计算能力,但是将任务传输到远程云通常会导致高时延和高能耗。为了在车联网中支持时延敏感和多媒体丰富的服务,车辆边缘计算已经成为一种很有前途的计算技术,以提供更好的计算服务,即计算和处理将被推到附近的边缘节点辅助处理任务,如车辆、路边单元和基站等。因此,本文在计算资源扩展的基础上,以系统时延、系统能耗及系统效用等作为衡量系统综合性能的指标,进行车辆边缘计算卸载机制的研究。首先,本文介绍了车联网架构和车辆边缘计算的相关内容,这是本文主要的模型场景因素,目的是对车联网的计算资源进行扩展,进而为车联网节省大量通信资源和降低传输时延。同时介绍了车联网通信关键技术,主要包括DSRC与C-V2X两个方面。为了解决在车辆边缘计算环境下边缘服务器的任务卸载决策问题,介绍了深度学习算法和强化学习算法的相关概念,以提高系统的综合效能。其次,本文提出了一种基于DQN算法的车辆边缘计算任务卸载模型。为了对车联网计算资源进行扩展,本文引入了车辆边缘计算的概念。在该模型中,车辆需要对每一时隙产生的任务进行处理,处理方式分为本地处理,卸载到邻近车辆,卸载到RSU和卸载到BS。在卸载处理过程中,车辆首先需要通过无线信道将计算任务传输到边缘节点,然后边缘节点对计算任务进行处理,最后将计算结果回传给原车辆。为了减小系统开销,我们引入了DQN算法来解决任务卸载和处理问题,并做出最优卸载决策以提高服务质量。最后,基于Actor-Critic算法,本文提出了一种基于帧结构的车辆边缘计算任务卸载模型。由于车辆在计算能力方面有限的计算资源,可能会限制及时完成任务的可能性。可以将任务卸载到计算能力更强的路边单元VEC服务器,在VEC服务器端采用资源保留服务器作为VEC服务器端的资源保留来解决上述问题。为了提高收敛效率,我们将强化学习与深度学习相结合,采用Actor-Critic算法,把对价值函数表的维护转变成对神经网络模型的训练,以提升模型训练效率,提高VEC服务器的效用并降低车辆成本。本文共有图30幅,表2个,参考文献73篇。
其他文献
促进创新创业教育质量提升是我国经济社会步入高质量发展阶段的时代需求,是进一步落实国家创新驱动发展战略和构建社会主义现代化市场经济体系的重大支撑。自“双创”提出以来,“双创”事业在我国快速蓬勃发展,与经济社会发展深度融合,对推动我国经济结构转型,促进就业等方面发挥了巨大作用,是社会经济发展的强大动能。当前,我国经济社会发展已步入到高质量发展阶段,系统分析在高质量发展阶段创新创业所教育存在的不足,并提
学位
民间借贷作为民事主体之间以货币为标的的金融交易行为,因简便高效、资金流动快等特性被不法分子借助诉权实现其非法目的,在司法审判程序中愈演愈烈,导致民间借贷虚假诉讼频率大幅提升,严重影响司法进程。为惩治民间借贷虚假诉讼,我国民事立法初步建立起虚假诉讼识别规制体系,刑事立法将虚假诉讼单列为虚假诉讼罪以惩治违法犯罪发生,最高法、最高检也相继发布指导性文件抵制虚假诉讼。但民间借贷虚假诉讼具有隐蔽性强、灵活多
学位
红外成像系统接收场景中的热辐射进行成像,当目标距离成像系统较远时,其传输过程中辐射能量损失严重,从而导致目标在图像中以低信噪比、占少量像素数的弱小目标形式存在。对于地面复杂背景,由于场景中物体种类较多,与成像系统距离、对外辐射能量水平不同,使得图像背景中存在大量边缘、疑似目标的干扰物,地面背景复杂多变,导致红外弱小目标难以检出。为了将红外弱小目标从复杂地面背景中准确检测出来,本文从目标与背景的红外
学位
随着量子计算机可运行的比特数的急剧增加,量子算法与经典密码分析方法相结合的领域得到了快速的发展。基于Simon和Grover量子算法的密码分析已经成功攻击了3轮Feistel网络、FX结构,同时可用于恢复Even-Mansour结构内嵌的密钥。同时各种量子算法在持续改进,包括离线的Simon算法,更低的复杂度的HHL算法等等。在对密码分析方法和量子算法进行研究之后,我们发现代数攻击与用于求解线性方
学位
西方汉学发展的历史是一部中西文化交流的历史,西方汉学著作的广泛传播为世界打开了一扇了解中国的大门,这些作品的回译有利于促进西方汉学著作在中国本土的传播,从而帮助中国了解自身在他者眼中的形象,促进中西文化交流。本报告基于西方汉学著作《中国古代哲学中的德性伦理学与结果主义》(Virtue Ethics and Consequentialism in Early Chinese Philosophy,以
学位
我国化妆品安全使用规范中氢醌、苯酚、间苯二酚等强毒性酚类物质在美白剂中是禁止添加的,部分美白成分尚未严格规定最大允许添加量,其毒副作用机制尚未完全清楚。一些常用的化妆品中添加的有机化学防腐剂虽对微生物有强烈抑制作用,但添加浓度过高也会引发人体皮肤不适应症。为快速、准确、高效地检测化妆品中多种美白剂成分的添加量和防腐剂的使用量情况,本课题通过高效液相色谱的仪器条件和前处理条件的优化对十一种美白成分和
学位
本文以余华的《许三观卖血记》和赵昌仁的《刺鱼》为研究对象,运用比较文学等研究方法,分析两部作品中“父亲形象”及特征,比较关于“父爱”的共同点和不同点。在中韩交流日益紧密的现代社会,对“父爱”的认识发生了很多变化,也需要很多变化。当今的文学作品不仅是单纯的文化产品,还成为增进国家间的理解、发展友好关系、沟通不同文化的重要媒介和资料。因此,通过两国的文学作品来探讨“父爱”是很有价值的研究课题。虽然两部
学位
极化合成孔径雷达(Polarimetric Synthetic Aperture Radar,Pol SAR)可以获取更丰富的目标散射信息,为详尽分析目标散射特性提供了良好的数据支持。随着获取的极化SAR数据量增加,如何有效的从极化数据中提取地物特征并进行分类是当前亟待解决的问题。极化目标分解是提取极化SAR数据特征的一种方式,但不同目标分解方法获得的特征实际上并不是独立的,而且,即使通过不同极化
学位
敦煌莫高窟是属于全人类的艺术成就,也是专属我们国家的文化宝库,而藻井艺术作为敦煌石窟中最重要的艺术表现形式之一,对其研究与再设计的应用活动一直都没有停止过。初唐时期的葡萄石榴纹藻井于当时来说,体现着唐朝的繁盛与大国气概,它是陆上丝绸之路的最有力的体现,也是世界文化大交流的一个艺术表达;同样,葡萄石榴纹藻井于当代来说,是作为未来引领中国设计走向舞台中央的新一代设计师不可忽视的一个选题。此次设计实践中
学位
轰炸软件,是一款干扰计算机信息系统正常运行的程序、工具,常被犯罪分子利用于向不特定目标用户实施轰炸,严重影响通讯设备的正常运行功能、扰乱人们通讯自由与生活安宁;甚至被用于“套路贷”非法占有他人财物、扰乱社会公共秩序,具有严重社会危害性。通过中国裁判文书网、北大法宝对2017-2021年涉“轰炸软件”案件的刑事裁判文书有关涉“软件轰炸”行为司法认定数据样本统计与分析,发现涉“轰炸软件”行为表现形式多
学位