无人驾驶是智能交通系统的核心部分之一,其主要是沿着道路进行纵向行驶。无人驾驶车辆编队的控制任务是设计能使无人车在纵向编队中稳定跟驰行驶的优化算法。因此,本文将针对无人驾驶车辆编队和混合驾驶车辆队列分别设计深度强化学习算法,实现从输入端到输出端的直接控制,进一步解决无人驾驶领域内的控制问题。本文的主要研究内容如下:首先,针对变化多样的道路状况和实验设备条件受限等问题,搭建了智能交通实验平台。该平台主要由智能车辆、视觉信息定位系统、无线通讯系统构成,在硬件和软件方面分别进行了自主设计,以保证研究的深度强化学习算法能够有效实施在车辆编队控制系统中,为后面理论算法的实验验证提供保障。其次,考虑无人驾驶车辆编队的跟驰问题,提出了一种基于深度强化学习算法的队列控制方法。利用vehicle-to-vehicle通信,建立了无人驾驶车辆编队的跟驰动态模型。进而,对无人驾驶车辆编队中的跟驰行为进行马尔可夫决策设计,提出了基于多智能体Q学习的深度确定性策略梯度算法,能够实现完全数据驱动和自我学习,不依赖于任何预测、预定义的规则甚至先前的人类知识,使得编队中的车辆能形成预定队形并保持理想队列车速,同时保证了整个编队系统的稳定性。通过仿真验证了所提的控制算法,并进行实验验证了算法的实用性。最后,对于由有人驾驶车辆和无人驾驶车辆组成的混合车辆纵向编队,充分考虑有人驾驶车辆的参数不确定性,设计了一种基于深度强化学习的队列控制策略。先是建立了通用的跟驰数学模型,使得两种类型车辆的位置可随意变换,在此基础上分析设计基于多智能体价值网络更新周期的深度确定性策略梯度算法,实现对车辆的高水平跟踪控制精度和稳定学习,简化求解的过程,使收敛速度加快。然后证明了此算法的收敛性和无偏差性,显示出算法的优越性。经过仿真和实验,进一步验证了所提出的跟驰优化控制算法的可行性。