城市交通是城市的重要组成部分,是居民衣、食、住的有力保障。随着国民经济的发展和城市化进程的加快,我国机动车保有量急剧增加。机动车保有量的迅猛增长,加剧了城市交通拥堵程度,交通安全和交通污染等问题也日益严重。道路交通拥堵以及由此形成的其他危害,已成为大多数城市面临的“城市病”之一,城市交通问题在一定程度上已成为制约经济和城市可持续发展的瓶颈。通过提升当前交通管理水平,充分利用现有道路资源,使用先进的控制技术和协调方法,提高路网运行效率以缓解拥堵是目前最经济和可行的方案。在交叉口设置等待区是一种我国城市普遍采用以提升通行能力、缓解交通拥堵、抑制过饱和状态的做法,然而针对等待区的研究仍不够深入。另外,过往建立数学优化模型以提升交叉口性能的方法可能已经达到“理论极限”,基于机器学习的方法和技术已经在很多领域中取得成功,因此,开展基于强化学习和深度强化方法的交通控制理论与方法的研究,是提升交通管理水平,提高交通通行效率,缓解交通拥堵,提升居民交通出行满意感的前提。本文立足于交通控制的基本理论与方法,对等待区的设置和车辆运行特性、过饱和交叉口的信号优化等问题进行分析,并对深度强化学习方法在信号优化领域的应用开展研究。首先,分析评述了国内外过往的相关研究,结合我国国情,确定了本文的研究思路、研究方法和技术路线;第二,在分析过饱和交通流运行特性的基础上,利用图解分析法,建立了过饱和状态下的延误模型,并以平均延误最小为优化目标,推导了适合过饱和交叉口的信号周期优化模型;第三,使用交通冲突理论对广泛应用于国内大、中等城市的等待区的设置方法、车辆启动特性等进行分析,建立了有等待区交叉口通行能力模型,并提出了适用于等待区交叉口的信号优化策略和方法;第四,在深入分析强化学习和深度强化学习方法的基础上,选择排队长度作为状态空间,将过饱和交叉口的信号优化问题转化为马尔科夫决策过程,由此提出了基于强化学习方法的过饱和交叉口信号优化方法,并搭建了训练-测试平台,验证了所提方法的有效性;第五,依据干线交叉口协调控制理论与方法,确定其状态-动作关系,提出了一种类似于k臂赌博机优化问题的分布式干线交叉口协调方法,使用神经网络进行状态梯度下降,并利用训练-测试平台对一条包含5个交叉口的城市干线进行测试,结果表明,本文所提方法优于数学解析法。本文的主要研究成果包括:（1）引入连续型延误模型建模方法,通过刻画车流到达-驶离规律,建立了基于图解分析方法的过饱和交叉口延误模型;考虑整个过饱和时段,构建了以平均延误最小化为目标的周期优化模型。实证分析验证了该模型的有效性,案例表明,该模型可降低车辆行程延误4.22%、停车延误7.58%。（2）从交叉口交通冲突关系角度,结合驾驶员行为特性,提出了等待区的设计方法;使用对比分析方法,将等待区对车辆启动过程和清空过程的影响进行了量化建模,并引入HCM通行能力模型建模方法,构建了有等待区交叉口通行能力模型;针对过饱和交通状态,提出最大化通行能力的优化策略,针对低饱和交通状态,提出两种降低交叉口延误的优化方法;仿真结果表明:针对未饱和状态的两种优化方法都可以减少交叉口的平均延误,分别可以减少交叉口延误5%-11%和10%-14%。（3）借鉴离散型延误模型建模分析方法,揭示了Bang-bang控制策略减少交叉口延误的运行机理,并建立了基于平均延误模型的奖励函数;通过刻画强化学习算法优化过程和马尔科夫决策过程（MDP）,以交叉口排队长度作为状态空间、以绿信比作为动作空间,将过饱和交叉口信号优化问题转化为MDP,并提出了基于Q-learning和Double DQN的过饱和交叉口信号优化方法;通过设置不同的约束条件和惩罚因子,避免车辆溢流现象;使用Python语言和Tensor Flow工具包搭建了训练-测试平台,并对两相位和多相位交叉口进行了训练和测试。仿真实验表明,两种优化方法可以有效降低过饱和交叉口的平均延误;无排队约束条件时,两种方法可以实现与两阶段Bang-bang控制方法一致的优化效果,并且最大排队长度减小1.7%,有排队约束时,最大排队长度减小约13%;同时,所提基于Double DQN的优化方法比基于Q-learning的优化方法有更好的适应性。（4）通过分析干线交叉口协调控制的优化机理,确定将交叉口距离、系统速度、周期时长、上游交叉口相位差等关键参数作为系统状态,将当前交叉口相位差作为动作;由于这一状态-动作对相互影响过程难以转化为MDP,提出了一种类似k臂赌博机优化方法的分布式学习算法;由于创造性的将上游交叉口的相位差引入状态空间,并将交叉口上行车辆和下行车辆的加权平均停车率作为奖励函数,实现了双向分布式协调优化。以郑州市的一段包含5个交叉口的主干路作为实证案例,利用Vissim仿真软件和Python编程语言搭建了训练-测试平台;测试结果表明,基于深度学习算法的分布式干线协调优化方法优于数学解析法,整体停车率降低3%-37%,并且,分布式协调方法具有更好的适应性和可扩展性。