随着社会与经济的快速发展,我国民用汽车保有量正在逐步增长,但这也导致了愈发严重的环境污染问题和道路安全问题。自主无人驾驶技术作为多领域交叉融合的新兴技术,可以通过自主智能化的控制策略来控制车辆,带来更加安全可靠的驾驶环境和高效的行驶方案,对于提高现实道路交通的安全性和效率具有十分重要的研究意义。强化学习是基于奖励驱动的一种机器学习方法,被广泛应用于智能体的学习策略问题,特别是深度强化学习的提出,使其可以拓展到一系列更加复杂的现实决策问题上。自主无人系统的驾驶策略需要应对多种复杂多变的交通情景进行决策,因此将深度强化学习应用于自主无人驾驶领域具有广泛的应用前景。本文主要针对自主无人系统的驾驶策略进行研究,基于虚拟驾驶仿真平台将深度强化学习应用在自主无人系统的多任务驾驶场景中,主要工作如下:本文基于TORCS虚拟驾驶仿真平台构建了一个强化学习交互框架,并提出了一种基于深度强化学习的端到端的自主驾驶策略学习方法,在TORCS仿真环境下实现车辆的车道保持和借道超车任务。针对传统强化学习算法在驾驶任务中需要长时间训练,本文基于随机策略的梯度策略强化学习算法PPO的基础上,通过引入RND好奇心机制生成内在奖励指导智能体探索环境,从而提高智能体探索环境的效率,使得自主驾驶策略学习可以更快的收敛;然后结合裁剪双评价网络,在原Actor-Critic框架上引入一个辅助Critic评价网络,在更新目标值时选择更低的估计值,从而避免高估偏差,同时引入GAE泛化估计器在保持一定偏差的情况下降低优势函数的估计方差,提高训练的稳定性。实验数据表明,改进的PPO算法在模型的训练效率和控制性能都获得了一定的提高。本文将改进的PPO算法在TORCS虚拟驾驶仿真环境上进行了多任务驾驶场景实验,并与传统的DQN、DDPG、TD3和PPO算法进行对比。针对车道保持任务、给定速度的车道保持任务和多车辆超车任务的不同特点,本文确定不同任务下强化学习的状态输入和动作空间,并根据任务特性设计奖励函数。在车道保持和给定期望速度的车道保持任务实验中,实验数据表明,改进的PPO算法可以有效提高驾驶策略模型的学习训练性能,模型可以较快的完成第一次任务,最终的策略收敛也更快;此外,在控制性能上,从模型跟踪赛道中线的距离误差和角度误差可以看出,其控制性能也更加稳定;在泛化性能实验中,本文也将改进的算法和各个对比模型部署到未知的赛道地图上验证算法模型的泛化性能,结果表明,改进的PPO模型可以在多个未知赛道中完成任务并保持较好的控制性能。最后在多车辆超车实验中,本文算法设置多辆不同状态的对手车辆,同时确定新的状态输入和奖励函数,通过改进的PPO算法对多车辆超车任务进行训练和实验。结果表明,对于不同的对手赛车,控制车辆都能根据自身行驶状态和对手车辆位置来做出合适的驾驶策略实现借道超车。