无人驾驶车辆作为未来陆地交通的发展趋势,在解决交通安全以及治理道路拥堵等问题上极具潜力。要实现其在高密度、机非混行的城市道路交通环境下的完全自主驾驶,则要求车辆的决策系统拥有人类驾驶员般的“学习能力”。而传统基于规则的决策系统通常只适用于单一的驾驶环境,其应对城市道路环境的决策能力尚不能满足鲁棒性和灵活性的要求。尤其是强制性换道行为频繁发生的匝道汇入区,对无人驾驶车辆决策系统的环境适应能力提出了更高要求。因此,本文针对该问题,综合考虑汇入过程的安全性、时效性等指标,利用强化学习算法提出了无人驾驶车辆环境自适应汇入策略方法。主要工作与研究成果如下:(1)利用交通流仿真软件Vissim与智能汽车仿真软件Pre Scan联合仿真,搭建了无人驾驶车辆汇入系统实验平台,实现了本文汇入策略方法在高逼真仿真车流环境下的优化训练与在线测试。该实验平台包括两个主要模块:汇入策略系统模块与车辆运动控制模块。汇入策略系统模块实现纵向的加速度决策与横向的换道决策。运动控制模块通过PID控制器实现期望速度到油门、刹车控制量的转换,同时通过基于运动学模型的轨迹跟踪控制器追踪横向换道参考轨迹,实现对无人驾驶车辆的运动控制。(2)考虑目标间隙选择与期望汇入时机,提出了基于最小二乘策略迭代算法的环境自适应汇入策略方法。该方法将一个候选间隙的前车、后随车与汇入车辆视作单元汇入系统,进行强化学习建模。在策略优化过程中,比较所有候选间隙的最大动作值函数,选择其中最大值对应策略作为输出策略。单元系统强化学习建模过程中,综合考虑安全性、舒适性以及时效性等评价指标,建立了线性加权的综合奖励值模型,同时动作空间设定包含二维变量,纵向速度决策变量与横向换道决策变量,解耦无人驾驶车辆的横、纵向运动,实现汇入过程的连续性控制。最后,本文与Q学习算法进行对比实验,结果表明基于LSPI算法的汇入策略在收敛速度,以及针对复杂环境适应能力上远胜于Q学习,自主汇入成功率达86%。本文的研究结果不仅有助于加深对复杂换道过程的理解,也能为后续驾驶行为决策算法提供仿真验证思路。