基于Q学习和深度Q学习的列车自动驾驶节能运行控制

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:t60720372f
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年来,中国城市轨道交通领域的发展日新月异,地铁、轻轨、磁浮等轨道交通系统的总运营里程逐年提高。同时运营里程的增加伴随着巨大的能源消耗,因此列车自动驾驶的节能运行与城市轨道交通的可持续发展密切相关。本文以城市轨道交通为研究对象,建立了基于强化学习相关算法的列车节能运行控制方法。选取实际的地铁线路信息,通过仿真验证了上述方法的有效性。本文主要有以下几个方面的工作:首先,根据国内外对列车节能运行的研究,对列车运行过程进行受力分析,建立列车运动学模型,并分析列车驾驶策略。然后,分析了强化学习算法的结构,并使用马尔科夫决策过程解释强化学习的基本原理。基于Q学习算法,结合列车运动分析设置列车节能运行奖励,并进行列车运行控制的值函数迭代推理。根据强化学习算法,设计了基于Q学习算法的列车自动驾驶节能控制方法。再者,分析深度强化学习的基本原理,为了提高算法训练速度,使用改进的了Dueling DQN网络结构,针对深度强化学习方法在列车运行控制中的应用,建立了基于深度Q网络(deep Q-network,DQN)框架的列车运行环境,搭建了智能体和列车环境。根据列车状态分析,设计状态值函数和优势函数的值函数对列车状态和动作进行评估,并对动作策略进行优化。最后,进行了仿真实验。选用北京地铁亦庄线线路数据,通过仿真对上述算法进行验证。仿真结果表明,在满足基本运行条件的基础上,相对于列车实际运行能耗,算法具有较好的控制效果。Q学习算法在运算速度上有明显的优势,而DQN算法更具智能性,对列车的能耗优化效果也更好。从而验证了本文提出的列车自动驾驶节能控制模型的有效性。图38幅,表10个,参考文献51篇。
其他文献
在锂离子电池的使用场景中,低温充电会对电池造成很大负面影响。一方面是低温充电会造成负极析锂,电池容量快速衰退,增加了使用成本;另一方面,低温充电造成的析锂会形成锂枝晶,如果锂枝晶刺穿隔膜会造成电池内短路,严重时会引发热失控的问题,危机人身和财产安全。本文围绕锂离子电池的低温析锂特性展开研究,主要分为两个部分,第一部分是析锂的无损检测方法,第二部分是低温析锂下电池模型参数的变化及后续常温老化的影响。
学位
随着我国社会经济的发展,重大突发公共卫生事件等突发性事件对社会造成的影响越来越引起人们的关注。2020年初新型冠状病毒疫情的爆发不仅让国民经济会遭受到了巨额损失,而且威胁到了民众生命健康。更严重的是,疫情一旦防控不力,还会造成恶劣的社会影响。要想对此类事件进行及时的防控,就必须做好疫情监测、预防和第一时间的控制。要想做到这几点,离不开充足的物资供应。应急医药是一类重要的应急物资,在重大突发公共卫生
有机电致发光二极管(Organic light emitting diodes,OLEDs)是一种新型的显示技术,其原理是利用有机材料作为发光层,在外加电压的驱动下直接将电能转换为光能的主动发光型显示技术。其核心材料为有机材料,与无机材料相比具有种类更加丰富、价格低廉等优势。从OLEDs发展至今已有三十年载,红色/绿色/蓝色OLEDs都取得了巨大的发展和进步,OLEDs显示技术如今大量应用在日常生
学位
学位
学位
学位
作为列控系统的重要组成部分,无绝缘轨道电路(Jointless Track Circuit,JTC)在列车占用和地-车信息传输等方面发挥着重要作用,其工作状态直接关系到列控系统的正常工作,进而影响列车运行安全和铁路运输效率。目前,铁路上广泛采用信号集中监测系统(Centralized Signal Monitoring System,CSM系统)来实现对JTC的状态监测和故障诊断。因此,研究CSM
近年来,电动自行车作为一种操作简易、经济便捷、机动灵活的交通工具而备受青睐,成为人们短途出行的主要交通方式之一,越来越多的家庭开始拥有一辆甚至多辆电动自行车。电动自行车在给人们的日常出行带来便利的同时,不仅影响了城市交通结构,也出现了不少交通管理、道路安全方面的问题。为了制定更合理的电动自行车管理措施,研究家庭电动自行车保有量的影响因素并准确预测其保有量尤为重要。首先,本文在阅读整理国内外相关文献