列车自动驾驶系统(ATO)是列车运行控制的关键系统,在不同运行环境下,可以实时控制列车牵引力和制动力的输出,使列车按照目标曲线平稳、安全运行。论文针对列车系统的非线性、多变量等复杂特性,综合考虑列车运行环境、列车控制特征,基于强化学习的无参学习、动态优化、端到端学习、自适应性等特点,提出了一种提升模糊控制方法泛化能力的列车自动驾驶控制系统算法。通过深度强化学习,系统自动对已有的列车模型、需求的目标速度曲线以及需求的控制策略,生成一套模糊控制方案,取代了传统专家经验的设计,并且提升了模糊控制的普适性。论文的主要研究内容包括以下几点:1、对列车自动驾驶系统的功能、基本结构、传统控制算法进行相关的研究,对列车控制问题进行了问题抽象,并建立了列车运行过程的简化模型。2、研究了强化学习在控制算法中的相关应用、DQN算法的原理及结构,并完成了基于强化学习的列车自动运行控制算法的设计,包括了列车模拟环境仿真、目标曲线设计、列车输入状态图像化设计、卷积神经网络结构设计、状态输出控制、奖励策略设计、动作策略设计、DQN训练参数设计等。针对传统列车ATO控制算法的不足以及对杭州地铁4号线运行过程数据的统计与分析,本文选取了基于离散控制的DQN算法,同时还引入了深度学习中的图像表述方式描述状态空间,利用卷积神经网络得到相应的输出状态,然后通过强化学习的方法来训练卷积神经网络,使其根据设计的策略完成最佳的输出。该方法通过与模拟模型环境的交互去针对既定目标产生最优化的控制策略,摆脱了传统的基于数辨识模型的列车控制算法,实现了列车速度的精准跟踪。3、针对DQN算法在列车控制问题中的不足,本文在DQN算法的基础上添加了阶梯式控制策略改善原始DQN算法的控制效果,该方法极大丰富了控制输出的状态空间,在仿真环境的实验中明显提升了控制效果,抑制了速度震荡,实现了列车速度的精准跟踪,同时也加快了网络本身训练的收敛速度。