论文部分内容阅读
近年来,随着城市化进程的迅速发展,因城市交通路网密度增大而导致的一系列交通问题日益严重,同时因交通拥堵而带来的经济损失也非常巨大,如何有效显著地解决城市交通问题,缓解交通压力是当前研究的重点方向。由于城市交通信号控制系统的复杂性、多变性和不确定性,传统的交通信号配时方法不能很好地进行调整以适应动态的交通环境。当今社会随着科技的进步,人工智能技术得以快速地发展,智能交通自适应控制系统成为了当前主要的研究方向。本文以降低局部区域路网中的车辆平均延误为目标,建立了区域内车辆的平均延误模型,采用深度Q学习与交通信号控制相结合的方式,对单交叉口路口和局部区域路网进行了信号控制方法的研究。
通过对单交叉路口建立交通模型,并将深度Q学习算法与交通信号控制相结合,将每个入口道的车辆状态表示为Q学习的状态空间,这样能够很好地表示出交叉口车辆的信息,并且对深度Q学习算法的神经网络结构与训练方法和过程进行了研究,之后进行了交叉口控制系统的仿真设计,包括系统场景设计和系统环境设计,并进行仿真实验,实验结果表明,基于深度Q学习的单交叉口信号控制方法在不同的饱和度流量下,均能在不同程度上有效地降低车辆平均延误时间,提高交叉口的通车量。
通过对局部区域路网中交叉口之间的相关性和交通流特性进行分析,并且根据区域内车辆的不同行驶特性,将区域的车辆延误分为外部进口道延误和内部进口道延误,之后根据车辆在路口的随机到达特性,建立了随机延误模型,在此基础上建立了区域内车辆的平均延误模型,并通过仿真实验结果分析,验证了所建立的延误模型产生的平均延误比较符合实际中车辆引起的平均延误,模型精度较高。
采用多智能强化学习的方法对区域协同信号控制方法进行了研究,为了提高算法的收敛速度,使用Max-plus算法对区域内的多个交叉口取得最优联合动作,同时采用迁移学习的方法将单交叉路口当中的深度Q学习算法扩展和应用到区域路网中,通过对其他路口进行初始化从而减少了训练时间,仿真实验结果表明,采用多智能体的深度强化学习方法对区域路网进行协调优化控制,能够从整体上降低区域内的车辆平均延误时间,也验证了所提方法的有效性。
通过对单交叉路口建立交通模型,并将深度Q学习算法与交通信号控制相结合,将每个入口道的车辆状态表示为Q学习的状态空间,这样能够很好地表示出交叉口车辆的信息,并且对深度Q学习算法的神经网络结构与训练方法和过程进行了研究,之后进行了交叉口控制系统的仿真设计,包括系统场景设计和系统环境设计,并进行仿真实验,实验结果表明,基于深度Q学习的单交叉口信号控制方法在不同的饱和度流量下,均能在不同程度上有效地降低车辆平均延误时间,提高交叉口的通车量。
通过对局部区域路网中交叉口之间的相关性和交通流特性进行分析,并且根据区域内车辆的不同行驶特性,将区域的车辆延误分为外部进口道延误和内部进口道延误,之后根据车辆在路口的随机到达特性,建立了随机延误模型,在此基础上建立了区域内车辆的平均延误模型,并通过仿真实验结果分析,验证了所建立的延误模型产生的平均延误比较符合实际中车辆引起的平均延误,模型精度较高。
采用多智能强化学习的方法对区域协同信号控制方法进行了研究,为了提高算法的收敛速度,使用Max-plus算法对区域内的多个交叉口取得最优联合动作,同时采用迁移学习的方法将单交叉路口当中的深度Q学习算法扩展和应用到区域路网中,通过对其他路口进行初始化从而减少了训练时间,仿真实验结果表明,采用多智能体的深度强化学习方法对区域路网进行协调优化控制,能够从整体上降低区域内的车辆平均延误时间,也验证了所提方法的有效性。