近年来,城市轨道交通伴随着我国经济的快速增长,进入了迅猛发展建设时期,已成为城市的能耗大户。许多专家学者通过研究城市轨道交通列车自动运行控制系统（Automatic Train Operation,ATO）,并提出不同的优化方法来降低列车运行产生的牵引能耗。优化方法的研究主要集中在优化列车节能运行的目标推荐速度曲线及跟踪速度曲线上,本质上属于离线优化。而在实际的地铁运营中,列车所处的运行环境和运行模型并不是固定不变的,这就导致了仿真跟踪的效果与实际运行存在较大的偏差;离线优化计算和列车实时控制是分离的,在实际运行若发生扰动需要动态调整列车运行到站时间,离线优化方法无法适应这种情况。而目前对不依赖于目标速度曲线的列车在线优化方法的研究工作还非常少。因此,本文针对离线优化难以克服的问题,提出了一种列车自动运行的在线优化算法。本文的核心内容是提出基于深度强化学习的列车自动运行在线优化算法。首先对传统强化学习到深度强化学习算法的发展和演变进行深入的研究,梳理分析不同算法的结构和优缺点,以及各自适用的问题模型,为本文选用强化学习思路对列车自动运行进行在线优化夯实理论基础。本文设计的在线算法区别于传统的ATO双层结构控制,无需推荐目标速度运行曲线作为外部监督信息,也不需要列车运行环境的精确模型信息;而是将列车控制器构造为神经网络,并设计关于能耗、舒适度、停车精度等多目标的奖励值函数和控制器输出动作的安全防护调整,在列车运行过程中通过实时采集列车速度、位置等状态信息和线路限速、坡度等环境信息,对列车的运行能耗以及到站停车精度进行多目标在线优化。通过搭建基于Open AI Gym的在线优化仿真环境,对本文设计的在线算法进行了在不同站间线路条件下的有效性验证。为了进一步对仿真结果的列车行车性能指标做评价,本文还做了基于蚁群的列车自动运行离线优化算法的仿真实验。将两者的仿真结果进行对比,数据表明,在线优化的列车运行能耗明显优于离线优化,且准点率、停车精度等指标均能满足要求。为了对在线优化实时性的有效性进行验证,本文模拟在列车运行过程中动态调整列车运行到站时间。仿真结果表明在线算法可以对列车实际运行中的扰动进行及时的在线响应,调整后仍能输出满足行车安全准点运行要求,并在到达车站时仍满足停车精度等指标的运行策略。图43幅,表4个,参考文献45篇。