随着我国经济的迅猛发展,城市内车辆数量急剧增加。私家车在给人们带来出行便利的同时也不可避免的带来了一些问题,其中最为严重的便是交通拥堵。部署在城市路口的信号灯能够直接影响交通流的行驶趋势,因此优化城市信号灯控制模型是缓解拥堵最有效的方法之一。信号灯控制策略优化从本质上来讲是序列决策优化的问题,由于强化学习能够在与环境的交互中优化决策,因此将强化学习应用于信号灯控制领域具有非常可观的前景。针对上述分析,本文的主要研究内容为基于深度强化学习的信号灯控制问题,希望利用深度学习强大的预测能力和强化学习独有的交互能力,对信号灯控制模型进行优化。本文首先针对单个路口的信号灯控制问题进行了研究。由于传统的深度强化学习算法在预测结果上存在偏差的问题,本文通过自适应调节的权重系数对两种经典的基于值的深度强化学习算法进行结合,使得预测结果更加准确,并将该模型应用于单个路口的信号灯控制系统上,使得信号灯控制策略更加精准,减少车辆等待时间。此外,在上述模型中,为了对路口状态进行准确的表示,本文利用注意力机制自动学习交通流中各个特征对于状态表示的重要程度,从而使得状态表示更加准确。接着,对于多个路口的信号灯控制策略的优化问题,本文利用图注意力网络学习路网中相邻路口对目标路口决策的影响,使得多个路口之间的交通流信息能够彼此传递,协调控制多个路口的信号灯,从而提高整个城市中道路的通行能力。利用仿真软件,本文分别在真实数据集和仿真数据集上进行了实验,实验结果表明本文的方法有效的减少了车辆等待时间,一定程度上缓解了交通拥堵。本文的研究成果对于基于深度强化学习的信号灯控制系统的研究工作具有一定的参考意义。此外,本文在上述研究的基础上还实现了一个基于深度强化学习的信号灯控制系统,该系统为训练信号灯控制模型提供了可视化的支持。