自适应巡航控制(Adaptive Cruise Control System,ACC,下同)又称主动巡航控制。作为一种高级驾驶辅助功能,自适应巡航控制系统通过车载雷达等传感器监测汽车前方的道路交通环境,与本车信息对比后,对车辆进行纵向速度控制,使本车与前车保持合适的安全间距。为了向乘客提供舒适的驾驶体验,并使周围的驾驶员能够更好地理解本车的行为,自适应巡航控制算法的驾驶风格应接近人类驾驶员,因此需要设计一种可以模仿人类驾驶风格的自适应巡航控制算法,即拟人化的自适应巡航控制算法。目前自适应巡航控制算法主要分为基于规则的自适应巡航控制算法和基于学习的自适应巡航控制算法。在基于学习的自适应巡航控制算法设计中,大部分研究者采用单层深度强化学习算法搭建自适应巡航算法,并使用专家估计法设计奖励函数。由于单层强化学习算法不符合人类“决策-执行”的行为模式,且专家估计法设计的奖励函数没有基于真实驾驶数据对奖励函数进行拟人化改进,因此基于这种方法很难进行拟人化的自适应巡航控制算法设计。为了解决这些问题,本文以分层强化学习算法作为基础框架设计了一种新的自适应巡航控制算法,并基于逆向强化学习算法从真实跟驰驾驶数据中学习了拟人化的决策策略,最终实现了拟人化自适应巡航控制算法。本文的主要工作内容如下:基于分层强化学习设计了一种新的自适应巡航控制算法。本文模仿人类“决策-执行”的行为模式,以分层强化学习算法作为基本框架,以深度Q网络算法(Deep Q Network,DQN,下同)作为上层决策算法和底层执行算法搭建了自适应巡航控制算法,并基于安全性、舒适性和跟随性初步设计了奖励函数。通过改进DQN算法优化了自适应巡航算法的学习速度和实际表现。针对初始DQN算法训练效率低等问题,本文对DQN算法的神经网络结构、记忆存取和算法训练流程进行了改进,形成了一种新的耦合DQN算法。仿真结果显示耦合DQN算法相比原DQN算法在学习效率和实际表现方面有了明显提升。基于逆向强化学习从真实驾驶数据学习拟人化的驾驶策略。本文采集了某熟练驾驶员在城市开放道路驾驶的真实驾驶数据作为检验样本,并基于最大熵逆向强化学习理论设计了拟人化自适应巡航控制算法奖励函数的学习算法,经过特征映射、状态转移概率计算、期望特征计算和奖励函数系数更新等过程,使算法轨迹的期望特征值更接近人类驾驶数据的期望特征值,完成了自适应巡航控制算法驾驶策略的拟人化学习。自适应巡航控制算法训练和拟人化效果对比。本文基于真实驾驶数据样本设计了训练工况,分别开展简单和复杂工况下的底层执行算法预训练,然后使用相同的工况对自适应巡航控制算法整体进行训练。算法测试结果表明本文设计的拟人化奖励函数的安全性、舒适性和跟随性期望特征值更接近人类驾驶数据的期望特征,即完成了拟人化自适应巡航控制算法设计。