基于深度强化学习的拟人化自动驾驶行为决策研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:yexianyang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自动驾驶技术能够提升驾驶安全性和出行效率,是汽车未来发展的重要方向。决策模块作为自动驾驶技术的重要一环,能够根据感知层的信息选择合理的动作以完成驾驶任务,是自动驾驶技术的核心。针对当前自动驾驶决策不够拟人化,较少考虑驾驶员风格的问题,基于深度强化学习提出了一种结合驾驶风格的决策方法,旨在能够满足不同风格驾驶员的决策需求,使决策更加拟人化。具体研究内容如下:(1)针对自动驾驶拟人化决策需要识别驾驶风格的需求,基于客观驾驶数据和主观问卷分析了驾驶风格,提出了一种驾驶风格分类模型。首先搭建了驾驶模拟器采集实验人员的客观驾驶数据,通过K-means算法将实验人员的驾驶风格分为激进型、一般型和保守型三类。其次基于驾驶员行为问卷(Driver Behavior Questionnaire,DBQ)和多维度驾驶风格量表(Multi-dimensional Driving Style Inventory,MDSI)设计了主观驾驶风格问卷供实验人员填写,问卷经信度和效度检验后,通过主成分分析和K-means聚类将实验人员分为三类,标注每一类的驾驶风格。再次将客观驾驶数据分析和主观问卷分析的结果进行对比验证了分类的准确性。最后利用人工神经网络建立了驾驶风格分类模型,将驾驶模拟器采集的实验数据分为训练集和验证集,通过训练集训练驾驶风格分类模型,利用验证集验证了模型识别驾驶风格的准确性。(2)针对驾驶员对驾驶安全性、舒适性和行车效率的需求,分别基于深度Q网络(Deep Q Network,DQN)和优势演员评论家(Advantage Actor Critic,A2C)两种深度强化学习算法建立了决策模型。首先搭建了SUMO(Simulation of Urban MObility)仿真环境用于模型训练与验证。其次基于DQN和A2C算法设计了决策模型并进行训练,模型回报函数考虑了安全性、舒适性和行车效率三个方面。最后在SUMO仿真环境中进行了模型测试,在奖励值、碰撞率、行驶速度、行驶距离、换道次数和超车次数多个维度对比了DQN和A2C两种决策模型的效果。结果表明采用DQN决策模型的车辆安全性和行车效率更高,综合表现更好。(3)针对当前自动驾驶决策不够拟人化的问题,基于表现更好的DQN决策模型提出了一种结合驾驶风格的拟人化决策模型。首先根据三种驾驶风格的客观驾驶数据设计了不同风格DQN决策模型的回报函数,确定了回报函数中安全性、舒适性和行车效率三部分的权重。其次基于三种驾驶风格的回报函数训练了对应风格的DQN决策模型。最后在SUMO仿真测试环境中分别测试了不同风格DQN决策模型的效果,结果表明采用激进型决策模型的车辆在行驶时舒适性最低,行车效率最高,采用保守型决策模型的车辆在行驶时舒适性最高,行车效率最低,验证了不同风格决策模型可以满足不同风格驾驶员的驾驶需求,体现了决策的拟人化。
其他文献
随着生态文明建设工作的持续推进和绿色发展理念的深入,企业面临日趋严峻的环境合法性压力,过往的资源消耗型发展模式濒临淘汰,通过绿色转型实现绿色发展成为企业高质量发展背景下的生存之道。基于信号理论,环境信息披露可以向利益相关者传递信息,表明企业环境治理和经营向好的信号,树立更好的企业形象,区分环境信息披露质量较差的企业,从而获得优势,拉开差距,更好地获得资源实现绿色发展。因此,探究环境信息披露与企业绿
学位
随着“传统文化复兴”作为国家战略的发布,“传统文化创新设计”渗透于各个产业领域,作为我国传统纹样的优秀代表,宝相花是一种兼具包容性与创造性的纹样,也是“国潮”设计中较为关注的题材,而如何以更为科学的方法进行文化要素的整理、分析与创新,而不是简单型制的复制粘贴,也是研究者与设计者的要务,本文以此为背景,研究宝相花纹创新设计形式应用于服装上的“国潮风格”感知,目的为总结再设计宝相花纹样在“国潮”服装设
学位
冷弯薄壁型钢拼合柱具有自重轻、截面形式多、易于加工制作等优点。在拼合柱中灌注混凝土可以很大程度提高框架整体稳定性以及承载力,与波纹钢板组合使用可以很好地约束钢板,有利于钢板抗侧性能的发挥。此外,在钢板两侧设置保温板以及现浇陶粒混凝土,且通过棒式玻璃纤维增强复合筋(GFRP)连接件进行连接,可以起到防火、保温隔热的效果。鉴于此,本文提出了一种新型冷弯薄壁型钢拼合柱—波纹钢板剪力墙结构。为了评估该墙体
学位
<正>“千村示范、万村整治”工程(以下简称“千万工程”)是时任浙江省委书记习近平同志亲自谋划和推动实施的一项创新工程。历届浙江省委、省政府坚持一张蓝图绘到底、一任接着一任干,不断深化“千万工程”。党的十八大以来,习近平总书记站在引领中国“三农”发展的宏观高度,对浙江“千万工程”作出多次批示。中共中央办公厅、国务院办公厅专门发文,要求在全国推广浙江“千万工程”经验做法,并在全国开展农村人居环境整治行
期刊
花蓟马Frankliniella intonsa Trybom,是一种广泛存在于世界多地的杂食性害虫,以作物、蔬菜、花卉等植物为食。化学防治方法是防治该虫最普遍的一种方式,但由于蓟马类害虫体型小、善隐蔽、繁殖快等特点,容易对药剂产生抗药性,导致农药利用率降低、农药施用量上升农产品残留量高等问题接连出现。本文通过研究花蓟马在黄花菜田的空间分布型和发生规律,旨在为明确有效施药期、抓住防治关键期奠定基础
学位
习近平总书记在全国劳动模范和先进工作者表彰大会上强调劳模精神、劳动精神、工匠精神是全党全国各族人民勇敢前进的强大精神动力。青年是国家事业的继承者和建设者,肩负着实现民族伟大复兴的历史使命。弘扬劳模精神,让劳模精神成为青年成长成才的精神动力是一项必要之举。然而,在新时代劳模精神培育过程中暴露出一些问题,如大学生劳动意识逐渐消散、家庭教育中劳动教育的缺位、学校劳模精神教育弱化等,严重削减了劳模精神的育
学位
<正>今年5月,农业农村部办公厅印发《关于深入学习浙江“千万工程”经验的通知》,要求各地“进一步学深学透、用好用活‘千万工程’经验,建设宜居宜业和美乡村,全面推进乡村振兴”。2003年6月,时任浙江省委书记的习近平同志亲自谋划、亲自部署、亲自推动,实施启动“千村示范、万村整治”工程,开启了浙江美丽乡村建设的篇章。历经20年,
期刊
近年来,我国在促进经济发展的同时也高度重视生态文明建设,企业环境信息披露水平愈发引起社会各界的共同关注。为进一步推动我国绿色高质量发展,在“十四五”规划期间需加快构建制造业绿色转型升级模式,由制造业大国向制造业强国不断迈进。在此过程中,企业风险承担水平作为企业决策的综合性结果,反映了决策者的风险偏好,并具有较强的资源依赖性。当企业披露环境信息时,在一定程度上有利于降低信息不对称性,提高企业声誉,进
学位
牛羊养殖是畜牧业的重要组成部分。近些年来,随着国家的发展,人民群众的生活水准普遍提升,牛羊肉、牛奶等产品已备受广大群众青睐,消费需求一直呈持续增长态势。这种旺盛的需求大大促进了牛羊养殖的迅猛发展,然而,令人尴尬的是不少牛羊养殖场、专业户出现了草料紧缺的现象。酒糟是一种蛋白营养丰富且富含多种维生素、矿物质的非常规饲粮,且价廉、适口性好、易获取,已迅速成为了牛、羊养殖中的草料类替代品。但长期或突然大量
学位
随着航空业的不断发展,作为下一代航空发动机热端部件的重要候选材料之一,超高温合金材料成为了重点研究对象,与其相关的研究论文也越来越多。对于此类文章的英译也成为了翻译研究中的重要一部分。本文为《Nb-Si基超高温合金及其定向凝固工艺的研究进展》英译实践报告,笔者在释意理论的指导下,将原文进行英译并对翻译过程进行分析总结,探讨如何运用释意理论实现词汇、句子、语篇的准确翻译。该翻译实践报告在释意理论的指
学位