随着我国城镇化率和人均机动车保有量的不断提高,许多城市面临着交通拥堵的困境。近年来随着科技不断进步,大数据、人工智能、深度强化学习等领域的研究不断深入,结合这些新技术的城市智慧交通也成为了研究的热点。此外,城市交通的信息化程度的逐步完善为城市智慧交通的实现提供了数据层面的保障。本文在实现城市交通信号的优化问题上进行了深入的研究,主要的工作分为以下两个部分。在工程层面上,本文分别设计并实现了两个分别基于Vissim和SUMO仿真软件的交通信号控制仿真平台。这两个平台面向强化学习算法进行设计和优化,并且在专业的仿真软件基础上二次开发,提高了仿真实验的可信度。在算法层面上,本文提出了一种基于深度Q网络算法的交通控制算法,利用矩阵表示法对交通状态信息进行提取,对小型路网的联合信号相位进行独热编码作为智能体的动作,论证了深度强化学习算法在小规模网络上进行交通信号控制优化的可行性,并且通过多个实验分析了DQN算法在此领域的优势和局限性;目前针对区域路网的信号控制时往往采用分布式控制方案,其策略协调往往依赖于人工调整,而中心式控制往往受限于动作空间,无法在状态动作空间内进行高效的探索从而学习到良好的策略。针对这一问题本文提出了层次区域控制框架,利用上层策略观察全局信息对各个路口的控制策略进行协调。而下层策略只关注本地路口的信号优化。这种结构结合了分布式控制和中心化控制的优点,缩减了动作空间维度的同时能够有效协调区域路网的交通流。借助层次结构的优势,此方法能够适应规模更大的区域路网并且在算法训练过程中有较好的鲁棒性。此外本文展示了大量的仿真实验,通过对实验过程和结果的分析与总结,本文证明了此方法在典型场景中相比起传统方法取得明显的性能优势。