随着城市中车辆数量的增加,道路的负载变大,城市交通系统中的交通拥堵等问题越来越严重。道路通行能力主要受交叉路口的影响,而路口通行能力受到现有红绿灯控制率的限制,仍然存在较大的优化空间。因此,在现有信号灯的基础上针对城市系统中的大规模路口通行规律进行协同优化具有重要的研究价值。本文基于多智能体深度强化学习（Multi-agent deep reinforcement learning）理论对大规模路口信号灯控制问题进行了研究。本文针对多智能体强化学习算法在大规模信号灯控制方法上的应用展开相关研究,主要工作涉及以下方面:首先探究信号灯决策与交通流耦合机理,提出信号灯控制域的概念,将大规模信号灯控制问题进行建模为马尔可夫决策过程,选取每个路口的信号灯作为智能体,进而根据信号灯控制域定义每个智能体的动作、状态和奖励函数。其次,分别在基于值函数和基于策略的强化学习框架下进行学习。选取两种框架下性能最为优异的Double deep Q-learning和Soft-Actor-Critic学习算法,针对本文研究的多智能体协同决策问题进行学习框架的设计,建立多智能体联合状态和多智能体联合奖励。再次,基于交通流耦合机理提出贪婪决策顺序的多智能体强化学习思想,将其应用到上文的两种经典强化学习架构中。在完成上述工作后,通过SUMO建立大规模信号灯决策与交通流的交互环境,通过python编写深度强化学习算法的训练框架,建立环境函数,与SUMO仿真软件进行联合训练。最终基于所提出算法训练得到深度神经网络决策模型,验证所得到模型在大规模交通路口信号灯控制问题下的性能和算法收敛速度,并与传统多智能体强化学习算法进行对比。本研究提出的贪婪决策顺序的多智能体强化学习算法在对传统多智能体算法进行改进,实现了智能体间的协同,最终训练得到的决策模型能有效提高路口的通行效率。相比于传统优化算法,所训练决策模型具有泛化性能,相比于单智能体深度强化学习算法,能够实现不同路口之间的协同优化,在大规模问题中优化性能更好,相比于传统多智能体算法,简化了问题的维度和复杂度,有更好的收敛速度。本文工作一方面为多智能体深度强化学习算法提供了改进,另一方面为大规模路口信号灯控制问题提供了高效的解决方案。