基于深度强化学习的端到端无人驾驶决策算法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:cj304465902
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于近数十年来我国经济水平的快速稳定发展,我国的城镇化发展进程得到明显加快,人均机动车保有量不断提高,但同时也一并面临着日益严峻的空气污染问题和城市道路交通安全挑战。在过去的几年中,无人驾驶作为一种颇具潜力能够改善现状的技术,受到资本青睐从而获得了蓬勃发展。然而在传统无人驾驶领域中,车辆改装调试硬件成本高、开发周期长且流程复杂,基于人工驾驶策略的车辆决策控制算法也一样存在不灵活、设计繁琐等问题。深度强化学习作为决策和控制领域的新兴前沿探索性技术,在无人驾驶领域具有很大的潜力,可极大地简化传统无人驾驶开发的复杂流程,同时也避免人工手动设计车辆驾驶策略的繁琐,因此本文研究基于深度强化学习的端到端无人驾驶决策算法。首先,针对传统无人驾驶技术开发周期长、测试流程慢、部署成本高等挑战,本文通过研究无人驾驶仿真环境和车辆智能体的交互机制,设计了一个无人驾驶仿真环境封装框架CARLA_RL。该框架用于智能体与环境的交互以简化车辆与环境的交互流程,同时为车辆智能体在环境中学习创造训练环境和条件。其次,针对传统强化学习智能体学习周期长、收敛慢等特点,本文研究了人类驾驶司机的模仿数据与强化学习的融合方案。通过使用模仿学习的人类驾驶数据来对传统强化学习方法进行优化,在传统DDPG算法基础上设计了一个新的模仿经验回放记忆池并引入热身训练阶段来加快智能体的环境探索部分,进而得到模仿性DDPG算法IDDPG,在加快智能体早期自学习情况上效果显著。接着,针对传统强化学习智能体的回放缓冲记忆池机制对交互数据的利用率不高等问题,本文研究了回放缓冲记忆池中的高奖励数据优先保留方法,提出优先保留方法和加速态概念,通过提高智能体与环境交互后期相对的高奖励值交互数据在池中的分布进而提升智能体对优秀数据样本利用率。最后,本文在自设计的无人驾驶仿真封装框架CARLA_RL中进行了相应算法的开发,并根据驾驶测试基准CoRL2017进行了相应的车辆智能体算法训练和测试实验。结果表明,相较于基准测试标准结果,IDDPG算法在训练过程中表现出更快的学习速度和更好的交互数据奖励分布,同时在测试实验中有着更好的实际驾驶性能表现。
其他文献
城市高质量发展必须对青年友好并重视青年的发展。“十四五规划”提出要“深入实施青年发展规划,促进青年全面发展”。自2019年10月起,团中央面向全国开展“青年发展型城市”试点,已有80个试点城市。聚焦“青年发展型城市”指标体系研究是服务城市试点能力建设的关键性内容,指标体系是推进试点落实、强考核、抓质量的关键性抓手。在梳理国内外10套具有代表性指标体系的基础上,以落实《中长期青年发展规划》要求为主线
随着浅层矿产资源的日渐减少和枯竭,为保障我国能源供应,煤炭资源开采逐渐转向深部。目前,我国已有多个煤矿进入千米以下的开采深度,深部岩体面临着高地温、高地应力、高渗透水压等复杂环境,特有的力学性质诱导了多种工程灾害的发生。其中,深部岩体大变形破坏较为常见。当前对大变形问题的研究多集中在岩石的力学性质和支护技术方面,但总体来说,研究多为工程个例,侧重技术应用,深层次的基础研究尚显不足。物质的微观结构决
学位
<正>在当前的整本书阅读教学中,出现了梗概式、总结式、片段式、散点式等偏离课程设计初衷的倾向。虽然表现形式不尽相同,但这些教学倾向在本质上都体现出相似的碎片化性质,恰与整本书阅读教学的愿望相反。这不得不引起我们一线教师的高度重视。高中整本书阅读是在初中、小学基础上持续推进的语文学习项目。学生从第一学段(一二年级)开始,便按《义务教育语文课程标准》要求尝试阅读整本书,并用自己喜欢的方式向他人介绍读过
期刊
运动规划是实现机器人自主导航的关键共性技术之一,是移动机器人安全、高效的完成复杂任务的重要支撑。在解耦式规划框架内,运动规划主要分为路径规划以及轨迹规划两部分。路径规划技术负责为移动机器人生成满足一定约束条件的可行路径。轨迹规划负责为移动机器人在满足电机速度和加速度等多种物理约束条件下生成的最佳轨迹。针对机器人路径规划问题,现有的解决策略不能很好的满足实际需求。在实际应用中,高次曲线作为避碰路径将
<正> 过敏性鼻炎是耳鼻喉科常见病、多发病,传统治疗方法效果不佳。本卫生室自2002年1月起至2003年3月,应用氯雷他定片联合转移因子口服液治疗本病20例,取得较满意效果。现报告如下。1.资料与方法1.1 资料参照人民出版社(1995年4月第3版)的《五官科学》中过敏性鼻炎诊断标准,选择符合标准的过敏性鼻炎患者20例:其中男性14例,女性6例,年龄6~48岁,平均16.5岁;其中常年性发病13例
会议