论文部分内容阅读
随着交通系统中机动车保有量的急速增长与道路容纳能力间日益严峻的矛盾,基于车路协同的智能交通系统已成为我国交通行业发展的战略领域。在车路协同技术和自动驾驶技术的加持下,网联自动驾驶车辆正快速演变为突破智能交通发展瓶颈的革命性技术。在网联自动驾驶技术中,车辆在异构交通场景下的智能自主决策控制一直是研究的重点和难点。目前大部分网联自动驾驶车辆决策控制方法基于传统数学模型,受限于交通环境的不确定性,部分数据驱动的决策控制方法受限于理想的交通环境假设。本文以网联自动驾驶车辆为研究对象,基于车路协同条件下的异构交通环境,面向开放道路及信号交叉口两种典型交通场景,针对车辆决策控制的特殊性和交通环境的复杂性,提出了两种基于深度强化学习的网联自动驾驶车辆决策控制方法。具体研究内容包括以下几个方面:1)针对网联自动驾驶车辆决策控制问题,对国内外研究成果进行分析,对网联自动驾驶范围内的车路协同系统和典型交通场景进行介绍,了解深度强化学习理论,从决策规划与控制执行两个方面对传统和数据驱动的车辆决策控制理论进行分析,明确本文的研究内容,奠定本文研究的理论基础。2)面向开放道路环境和信号交叉口环境,研究各环境下基于异构交通条件的车路协同交通模型和车辆运动学模型构建;基于强化学习框架,提出各环境下网联自动驾驶车辆的驾驶策略、观测空间、行为空间和奖励函数的构建方法。3)针对多源传感器和异构交通环境,提出基于间隔抽样的数据预处理方法;针对开放道路环境,提出一种基于平行CNN通道和竞争深度Q网络的深度神经网络,针对信号交叉口环境提出了一种基于动态场景分割的混合强化学习框架,使网联自动驾驶车辆在各环境下能够智能自主的与环境进行交互。4)面向车辆决策控制方法的仿真测试问题,研究针对强化学习算法的仿真测试环境构建;基于Unity ML-Agents仿真框架,设计并开发异构交通条件下开放道路和信号交叉口仿真测试环境,并对本文提出方法进行对比测试与分析。研究结果显示,在开放道路环境下,本文提出的车辆决策控制模型相较于对比模型在综合驾驶表现方面,根据网联车辆渗透率的不同提升为0.84%-5.28%,在信号交叉口道路环境下,本文提出的混合强化学习模型相较于对比模型能够减少12.25%-56.05%的能源消耗,并且有着平均1.13%,最高7.58%的通行效率提升。此外,本文方法相较于对比方法能够使车辆更加平滑地与异构交通环境进行交互,并且能提升车辆驾驶的稳定性。