基于深度强化学习的车辆自主跟随决策研究

来源 :重庆理工大学 | 被引量 : 0次 | 上传用户:gin901122
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着城市化进程和车辆保有量的快速增长,跟车驾驶已成为日常驾驶中最常见的驾驶行为,而且跟车模型已广泛应用于微观交通仿真与驾驶辅助系统测试等领域。对于自动驾驶车辆来说安全、舒适的驾驶将提高乘员满意度和信任度,降低油耗为车主带来经济效益。本课题从深度强化学习算法与跟车行为特性两个层面研究,以达到车辆更安全、更舒适和更高效地自主跟随驾驶的目标。首先,基于自然驾驶数据,采用统计学理论进行跟车行为特性分析。以下一代模拟(Next Generation Simulation,NGSIM)数据集中I-80数据为研究对象,通过对称指数均值滤波方法对原始车辆轨迹数据进行数据重建,依据跟车准则提取了1341组跟车单元并建立了跟车数据集;基于统计学理论详细分析了跟车行驶过程各特征参数的频次分布,利用Spearman相关系数方法量化分析了各特征参数间相关性,并明确其显著性。其次,根据驾驶特性建立基于深度强化学习的自主跟随决策模型。基于马尔可夫决策过程(Markov Decision Process,MDP)的强化学习理论与车辆纵向运动学设计了状态空间、变约束动作空间、多目标奖励函数和终止条件,着重对动作的探索与利用以及多目标奖励函数进行分析。第一,利用训练集建立了速度-加速度分布并根据正态分布3σ边界点实现变约束。第二,参考了跟车行为特性并结合安全、效率及舒适驾驶目标设计了多目标奖励函数,其中根据车头时距(Time Headway,THW)概率密度分布曲线设计了新颖的行驶效率奖励函数,同时使智能体吸取错误经验引入机械能形式的惩罚项。第三,选用具有对复杂环境探索能力的深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)算法,并与I-80数据结合构建了车辆自主跟随决策的智能体-环境交互模型;对于跟随过程中的紧急避撞情况,依据发生碰撞事故类型数据建立典型场景,分析其典型危险场景共性建立了车辆自主避撞决策模型。最后,设计了实验方案对基于深度强化学习的车辆自主跟随决策策略的有效性和准确性进行详细验证分析。对于车辆自主跟车决策模型,以测试集为数据对象,设计了五种策略评估车辆自主跟车决策模型的学习能力,然后从安全、高效和舒适行驶层面对决策模型进行验证,大量的仿真实验验证了该方案的有效性和决策准确性。对于车辆自主避撞决策模型,利用中国新车评价规程(China New Car Assessment Programme,C-NCAP)标准场景设计仿真实验方案,实验结果表明基于DDPG算法制动减速度更加平滑,满足安全性同时兼顾舒适性要求。
其他文献
我国企业承揽的国际工程总承包项目新签合同额1979年仅有3300万美元,2020年已达到2550亿美元的规模,项目来源已扩展至184个国家或地区。然而,并非所有中企承包项目都是盈利的,风险无处不在。在项目执行过程中如何预防风险是实现价值交付的关键,而在工程总承包项目设计是龙头,设计管理对项目风险防范至关重要。K项目是一个典型的国际工程总承包项目,因项目初期的设计管理面临诸多来自总承包单位、顾问单位
学位
随着汽车数量的快速增长,传统内燃机汽车对石油的依赖度愈加明显,而且产生的有害气体对环境造成严重污染。为了节约能源和保护环境,新能源汽车得到国家的大力支持,近些年已取得可喜的成果。目前动力电池技术发展尚不成熟,车辆充电设施建设仍不够完善,纯电动汽车相比于传统的内燃机车辆,存在着行驶里程短、生产成本高、充电不便利等问题。在此情形之下,增程式汽车应运而生。它拥有两个动力源,可以很好地解决纯电动汽车存在的
学位
随着中国汽车市场逐渐成熟,及国家和政府制定了比较完善政策,各汽车企业对汽车NVH性能也更加关注。燃油汽车在行驶过程中,发动机是主要的振源之一,特别是在汽车起步阶段,所以在发动机的振源传递给车身及其他部件的时候,需要尽可能使其传递率低。目前,对发动机振动特性的研究,这成为在整车开发中的一个非常重要的研究课题,经过大量的试验发现,在开发设计悬置系统的过程中存在着两个矛盾,一方面为了使动力总成运动的幅度
学位
<正>以转化效率胜出的钙钛矿技术,即将迎来产业化曙光。它会在短期内对现有晶硅路线造成彻底颠覆吗?3月9日,无锡极电光能科技有限公司宣布,公司于近日完成数亿元A轮融资。募集资金将主要用于钙钛矿前沿技术开发和150MW钙钛矿光伏生产线的运营,优化技术工艺水平,提升产品综合性能等。这只是近年来数十起钙钛矿融资案例里的冰山一角。这个光伏发电新技术已然成为了当下资本市场的宠儿。
期刊
增程式汽车因续航里程长和节能的优点,在汽车产业转型过程中起到了重要作用,改善增程式汽车性能的重要一环就是提升发动机热效率。五冲程发动机是一种特殊的发动机形式,通过增加额外膨胀气缸进行二次做功实现热效率的提升,其较窄工况范围内的高热效率特性适合作为增程式汽车的专用发动机。五冲程发动机的燃烧气缸和额外膨胀气缸通过气流传输管道连接,对五冲程发动机的性能至关重要。本文为探究气流传输管道几何结构是否对五冲程
学位
钙钛矿太阳能电池(PSCs)具有带隙可调、激子结合能低和成本低廉等优点,在短短几年内,其光电转换效率(PCE)已从3.8%迅速提升至25.8%。然而,由于钙钛矿的软晶格结构,使得PSCs在高湿、高温、光照和氧气的外部条件下容易快速分解,致使目前PSCs的稳定性还不能达到商业化要求。并且,钙钛矿电池器件内部存在的体晶格缺陷、异质界面的非辐射复合和离子迁移会严重影响器件的PCE和稳定性。因此,针对目前
学位
钙钛矿材料以其优异的光电特性,在太阳能电池和发光二极管等光电器件方向得到了广泛地研究,是现阶段科学研究和商业应用领域关注度极高的热点材料。其中,卤化物钙钛矿由于具有吸收系数高、带隙可调以及制备工艺简单等优点成为了探索的焦点。然而,这类材料存在一定的应用弊端,长时间处于光照或湿热环境中容易导致稳定性大幅降低,限制了其实际应用的进程。因此,探索卤化物钙钛矿材料的结构稳定性及其结构对光学性质的影响机制对
学位
添加剂可以影响钙钛矿薄膜的结晶和薄膜的形成。在钙钛矿体或表面加入添加剂,可以使其缺陷钝化,并影响钙钛矿的结构和能量学的界面调整。本文讨论了在钙钛矿的成膜过程中常用的几种添加剂,包括路易斯酸(如金属阳离子、富勒烯衍生物)、路易斯碱(如O型供体、S型供体和N型供体)、铵盐、低维钙钛矿和离子液体等,揭示了添加剂工程在钙钛矿太阳能电池制备过程中的重要作用,并对添加剂工程在钙钛矿太阳能电池发展中的研究进展进
期刊
目的 探究红景天苷(salidroside, SAL)对结肠癌细胞SW480增殖、凋亡和裸鼠移植瘤生长的影响。方法 采用0、25、50、100μmol·L-1剂量红景天苷处理SW480细胞,将细胞随机分为4组:SAL 0μmol·L-1组、SAL 25μmol·L-1组、SAL 50μmol·L-1组和SAL 100μmol·L-1组。克隆形成实验检测细胞克隆形成率;流式细胞仪检测细胞凋亡;Wes
期刊
目的 探讨基于安全风险防御机制护理管理对手术室护理质量和护理风险事件的影响。方法 按基本资料匹配原则选取医院收治的2020年6—10月手术患者300例为对照组,选取2021年1—5月收治的手术患者300例为观察组。对照组采用常规手术室护理管理,观察组实施基于安全风险管理防御机制的护理管理。在两个时间段中对手术室护士护理风险防范认识和能力进行考核评分,同时比较两组患者护理质量和护理风险事件发生情况。
期刊