十字路口作为城市道路环境的重要组成部分,其交通信号灯的控制与道路通行效率密切相关。一个良好的交通信号灯控制方案可以最大程度地提高道路网络的交通流量,降低车辆的平均旅行时间。因此,开展多路口交通信号灯控制研究有利于缓解交通拥堵,同时也为未来智能交通的发展奠定基础。近年来,随着机器学习技术不断迎来新突破,越来越多的研究者基于强化学习算法学习并得到新的信号灯转换方案。相比传统固定信号灯计划的多路口交通信号灯变换方法,基于强化学习的方案能够快速适应动态变化的交通流量。然而,这些研究往往是独立地观察目标十字路口的交通状况,从而忽略了周围邻近十字路口动态变化的交通信号灯状态以及交通流量。此外,关于挖掘交通数据信息的时间特征,大多数方法只关注到同一个路口在相同时间段的历史交通数据信息,忽略了一个时间段内,不同历史时刻道路网络的交通状况对当前路口的交通状态也具有不同的影响。针对上述问题,论文基于注意力机制和强化学习提出了一种新的多路口交通信号灯控制方案。具体包括如下几个部分:（1）针对部分研究工作忽略邻居路口动态变化的交通状况,或者简单直接联合邻居路口的交通状态导致模型无法实现有效学习的问题,论文提出构建空间注意力模型,即采用注意力机制学习和指定不同邻居路口以不同的影响权重,从而实现路口间交通信号灯控制的隐式协作,避免邻居路口交通状况的突然变化给目标路口带来非平稳影响。（2）针对不同历史时刻道路网络的交通状况对当前路口交通状态的影响也是不同的,论文采用长短期记忆网络LSTM配合注意力机制提取十字路口交通状态的时间相关性特征。与空间注意力模型不同的是,时间注意力模型关注的是重要时间步交通状况的影响,空间注意力模型则关注每个时间步重要邻居路口交通状况的影响。（3）基于空间注意力模型与时间注意力模型,论文方案不仅可以捕捉多路口交通信息的空间特征,还可以捕捉目标路口历史交通信息的时间相关性特征。最后联合时空特征并基于分布式Ape-X DQN框架预测每个十字路口下一个时刻交通信号灯的相位。论文选用4个公开的仿真合成数据集和2个公开真实的交通数据集开展实验。在不同的评估指标下对比了论文模型与其他九种对比模型的效果差异。实验结果表明,论文方案在车辆平均旅行时间以及道路网络吞吐量这两方面的性能要优于现有部分主流方法。其中,对比Co Light方法,在仿真数据集上,论文模型在车辆平均旅行时间方面降低了1.9%。在真实数据集上,模型在车辆平均旅行时间方面降低了2.5%。