自主驾驶是提高交通路网通行效率以及提高驾驶安全最具有潜力的解决方案,许多公司和研究人员对自主驾驶领域所涉及的技术进行了大量的研究,有关于驾驶策略的学习则是重中之重。传统的关于驾驶策略的学习方法是通过人类经验或者对车辆、道路建立数学模型,可以处理简单的交通场景,面对复杂的交通环境却无能为力,而且模型泛化能力较弱。随着深度学习和强化学习在各个领域取得的突出成绩,研究人员开始考虑将其应用至车辆的自主驾驶策略中。因此本文主要对智能车的自主驾驶决策系统进行研究,通过无模型、自学习的深度强化学习算法中的深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)算法使智能车学会自主驾驶,利用智能车学习到的自主驾驶策略调控路网中的交通流状态达到期望的交通流稳定状态,保证路网中车辆的平均速度最大化,从而提高交通路网的通行效率。自主驾驶决策控制器将智能车与交通场景互动感知到的环境信息作为输入,控制器根据感知到的交通环境做出驾驶决策,用奖励值函数评判驾驶行为的优劣,进而将结果反馈至神经网络,通过不断的更新神经网络参数值直至智能车学习到优秀的驾驶策略。首先,对机器学习领域的深度学习方法和强化学习方法进行了分析,从而选用了DDPG算法作为智能车自主驾驶策略学习的算法。采用马尔可夫决策过程设计了智能车自主驾驶决策控制器的状态空间,选用车辆两个方面的信息作为驾驶策略的输入;通过分析车辆的驾驶行为设计了自主驾驶决策控制器的动作空间,为了避免车辆油门踏板和刹车踏板的冲突,设置了加速度区间作为驾驶策略的输出;通过考虑车辆的平均速度、跟车间距、路口等待时间等量化指标设计了驾驶策略的奖惩机制。其次,研究了DDPG算法应用至自主驾驶策略中的理论实现过程,将深度学习中的人工神经网络作为驾驶决策控制器。在控制器学习驾驶策略的过程中,采用了经验回放机制,降低了训练样本之间的相关性。同时在对模型的策略梯度进行计算时,采用mini-batch方法来提升训练速度,避免了车辆控制器学习到局部最优策略。最后,在SUMO交通仿真平台中搭建环形道路场景和路口场景实现智能车自主驾驶决策的仿真实验。首先介绍了交通仿真平台SUMO以及实验中所需要的强化学习平台;然后在SUMO交通仿真平台中部署环形道路和路口交通场景,设计了车辆控制器结构以及信号灯相位;最后对实验所获得的数据进行处理,通过奖励值、车辆的位置、平均速度以及等待时间等量化指标进行具体的分析,验证深度强化学习算法在智能车自主驾驶决策系统中的可行性和有效性。