基于强化学习的高速列车目标速度曲线与运行时分协同优化

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:mxh1289
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高速铁路以其高效安全、准点舒适的特点已成为广大旅客出行优先选择的公共交通方式之一,是我国综合交通体系中不可或缺的组成部分。由于高速列车外部环境的不确定性,使得离线优化下的目标速度曲线无法完全适应外部动态环境变化。为进一步提升列车运营效率,目标速度曲线优化方法的适用性和实时性需进一步提高。另一方面,运行时分与列车状态信息的分离难以兼顾准点、节能等列车的多个运行性能指标,研究列车运行目标速度曲线与运行时分协同优化问题具有重要现实意义。本文针对不同场景基于强化学习展开高速列车目标速度曲线与运行时分协同优化研究,主要内容如下:首先,针对线路固定限速场景,提出了基于双深度Q网络的列车目标速度曲线优化方法。考虑列车的牵引制动特性、线路条件以及列车位置速度约束,建立了列车动力学模型,并搭建了由状态集合、动作集合以及奖励函数组成的高速列车运行强化学习环境。提出了基于双深度Q网络的方法来生成及优化列车目标速度曲线,在线路限速固定不变场景下,通过与遗传算法进行对比表明所提出的方法使列车准时性误差降低38.09%,能耗节省0.98%。其次,针对单区间临时限速场景,提出了考虑限速信息的列车目标速度曲线优化方法。根据列车运行阶段的不同设置了工况调整策略,并提出了用于优化列车车载控制器的动作选择策略的最短剩余运行时间计算方法。在高速列车运行强化学习环境的状态空间中增加限速信息变量,重构了强化学习环境。基于优先回放机制改进了双深度Q网络算法,以提高算法学习效率和模型收敛速度。不同临时限速场景下的仿真算例表明该方法可以充分利用计划运行时间曲线与最短运行时间曲线之间的冗余,保证列车准时性的前提下实现列车节能舒适运行。最后,针对单列车延误场景,提出了多区间运行时分与速度曲线协同优化方法。根据车站作业约束和列车区间运行约束建立单列车运行时分调整模型,设计了列车运行时分的状态变量以及调整分度的动作变量。结合速度曲线优化算法提出了列车运行时分调整方法,优化列车在后续区间的运行时分和目标速度曲线。仿真证明该方法可实现列车延误情况下多区间运行时分与速度曲线协同优化,获得在降低延误时间和节省能耗之间的权衡策略。图48幅,表9个,参考文献77篇
其他文献
目前针对隧道开挖面施工稳定性分析的相关研究中,对盾构隧道及全断面法开挖的矿山法隧道已开展很多,但对大断面山岭隧道三台阶法施工稳定性的研究较少。在理论分析方面,为研究台阶岩体对开挖面的稳固作用,朱举[43]假定开挖面处于台阶顶面以下的部分为稳定状态,仅对台阶顶面以上部分进行开挖面稳定分析。这种方法对台阶岩体的考虑不够全面,忽视了台阶长度,只考虑了台阶高度的影响,无法全面地分析台阶岩体对开挖面的稳固作
生理信号能够从多方面反映出人类的生理和心理状态,对判断情绪,诊断疾病等具有重要的意义。音乐是一种非语言的听觉艺术形式,很多人类活动中的生物信号都包含着类似音乐的节律,例如呼吸、心跳等。因此,将生理信号转换成音乐,有希望获得隐藏的生理状态信息,增加了分析的维度。而本研究就是利用深度学习和可听化的方法对生理信号进行分析,生成能够反映生理状态的音乐。本文采用的数据来自说谎检测实验,数据集中包含了心电信号
随着地铁路网的加密,新建地铁车站或隧道不可避免地要从城市桥梁的基础侧面或下方穿过,由于地铁施工引起的地层变形和移动,可能导致邻近桥梁基础发生沉降和承受附加应力。如果桥梁基础的沉降或附加应力超过了一定的水平,将可能使桥梁出现损伤,或使已经存在的损伤加剧,影响桥梁的正常使用甚至出现安全问题,因此,为确保邻近桥梁使用安全和地铁工程施工安全,需要研究地铁施工对邻近桥梁的影响程度,并采取相应的施工对策[1-
随着网络业务发展,TCP/IP网络逐渐暴露出在移动性支持、地址空间扩展、数据包安全等方面的不足。以内容标识寻址、以内容需求为驱动的命名数据网络(Named Data Networking,NDN)引起了学术界关注,成为未来网络研究中最具代表性架构之一。但NDN网络也存在部署困难、兼容性差等缺陷,因此研究两种网络的共存互通机制十分必要。多模态网络架构的提出为网络演进发展提供了新的研究方向和理论支撑,
低碳发展已经成为我们国家的能源战略,含分布式清洁能源的电网重构和改革迫在眉睫,一方面是大幅度提升可再生电源的比例,另一方面需要应对电动汽车(Electric Vehicles,EV)充电负荷的快速增长,电网运行稳定性面临挑战。目前,采用储能系统提高电网柔性、优化电网经济运行已经成为业内共识,由此分布式储能技术得到了重视和发展。随着电动汽车渗透率提高,充电负荷将对配电网运行带来过载风险,引入储能系统
至2020年底,我国高速铁路线网营业里程已达3.8万公里。高速铁路的快速发展给国民生活带来了巨大便利,但是,我国高速铁路运行区域广且运行线路长,复杂的运行环境使高速铁路线网常受自然灾害的侵袭而发生中断,严重威胁到铁路财产和人员生命安全。因此,研究致灾环境下的高铁网络抗毁性分析高铁网络发生中断后依然能够保持连通和提供服务的能力,对保障铁路系统安全运行至关重要。目前,主要是通过复杂网络的评价指标来测量
再生水补给地下水是缓解区域地下水资源短缺及地面塌陷等灾害的有效措施之一。消毒是再生水处理的必要工艺,其中氯消毒效果好、成本低受到广泛的应用,然而消毒过程中生成了大量具有强致癌、致畸和致突变性的新兴极性卤代消毒副产物,其毒性远高于传统卤代消毒副产物,近年来受到研究学者关注,但其在补给地下水过程中在土壤里的迁移行为鲜有报道。本文选取了在废水及再生水中出现频率较高、毒性较大的2,4-二氯苯酚(2,4-D
大断面既有隧道扩建是近年来为解决既有隧道结构年久老化、耐久性功能失效、可容纳交通量不足等问题而发展起来的一种隧道修建方法。它在断面、跨度、开挖过程等方面不同于普通的一次性开挖成型隧道,其应力重分布及结构受力的情况更加复杂。本文综合运用文献调研、数值计算、理论分析、现场监测的方法,对大断面既有隧道扩建方案进行了研究,研究结论可为类似大断面既有隧道扩建工程的设计施工提供参考。主要研究工作及结论如下:(
自动驾驶技术正以猛烈的势头飞速发展,而目前的自动驾驶技术还未能实现车辆的完全自动驾驶,介于手动驾驶和完全自动驾驶之间的人机共驾模式仍将长期存在。在人机共驾环境中,接管过程中的安全问题成为了国内外学者研究的重点,众多学者对自动驾驶接管绩效分别从接管时间和接管质量两方面进行研究,探索各种因素对接管绩效的影响,对推动自动驾驶技术的应用具有重要意义。本研究基于自动驾驶仿真平台进行自动驾驶接管实验,对自动驾
机车传动系统发生故障时,发出的信号表现出更强的非线性、非平稳性。为了充分利用信号的相位信息提取故障特征,本文将改进小波双谱引入牵引电机定子电流分析,诊断机车传动系统故障,取得以下成果:分析了变速条件下,电机定子电流信号特点。机械故障引起电机电流信号某些成分相位耦合加剧。针对变速条件下,电机定子电流信号中二次相位耦合随时间变化的特点,本文将改进小波双谱引入电机电流信号分析,提取时变的二次相位耦合。针