随着城市人均汽车保有量的持续增长,城市交通压力不断加大,交通拥堵频率与规模都大幅增加,交通拥堵问题已经成为我国城市及其周边地区普遍存在的问题。交通信号控制是调节交通路网中交通流的主要手段,其控制方案的好坏决定了交通路网的通畅与否,对交通拥堵问题的解决起着重要作用。所以,优化交通信号控制是解决交通拥堵问题最行之有效的方法。交通流具有很强的动态性、随机性和不确定性,同时交通信号控制问题本身又是一个顺序决策问题,其控制方案的选取只与当前交通状态相关。正是由于这样的问题特性,使得增强学习方法在城市交通信号控制问题上更为适用。本文基于增强学习理论,针对城市交通交叉路口信号优化控制问题进行研究,主要工作如下:1)对增强学习在城市交通信号控制问题中的研究进行了综述。在“阿里智能交通算法大赛”背景下,基于真实的路网条件和交通流量数据,对交通控制中的复杂条件进行了合理的简化和假设,建立了交通信号控制下Q学习的应用模型,采用Q学习算法对交通信号灯进行控制,通过离线训练,在线应用手段,计算出了符合比赛要求的结果,并通过仿真实验证明,Q学习算法对于交通信号控制问题的有效性。2)将Sarsa算法与资格迹(Eligibility Traces)机制相结合,采用Sarsa(λ)算法对同一控制问题进行了研究。通过仿真验证发现Sarsa(λ)对于交通信号控制问题同样有很好效果,并通过大量实验,对本文采用的两种方法进行了对比,验证了由于资格迹的引入使Sarsa(λ)算法比Q学习具有更快的收敛速度。此外,还找出了更适应于本文研究背景的资格迹参数并分析了其原因。最后,对全文工作进行了总结,对未来的研究做出了展望。