基于强化学习的交通出行选择行为及无人驾驶仿真

来源 :南宁师范大学 | 被引量 : 0次 | 上传用户:william_wng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着全球经济的快速增长,城市道路上的汽车也逐年增加,道路交通拥堵情况只增不减,行车安全的形势日益严峻,交通拥堵伴随着交通事故的发生,节省拥堵成本和行车安全越来越需要得到重视。在行车道路上如何节省出行时间,成为了热门研究课题。智能交通推进了无人驾驶汽车的涌现。为了保障交通系统畅通安全以及行车的安全都决定着汽车能否顺利到达目的地,本文通过构建出行选择行为虚拟平台采集出行选择数据及进行数据分析,并提出强化学习模型对交通出行选择行为进行研究,再通过改进DDPG算法对无人驾驶汽车进行路径规划,以达到缓解道路拥堵的目的。(1)针对交通出行选择行为的实际数据匮乏,因此本文采用基于Web框架下的Django开发了一个城市通勤出发时间选择实验平台,通过微调法修改实验参数后实施路径选择和收费管理等条件下的出行选择实验。利用此平台对交通出行选择行为进行模拟实验,并采集相关数据构建数据集。该平台最显著的优势是不但打破了传统的PC端实现,还可以利用Pad或手机等移动设备使用微信小程序开展实验。(2)随着交通工具的增加,交通拥堵成为了最典型的城市病,人们的通勤时间逐渐加长,为了更好的解决这一问题,本文基于Vickery的瓶颈模型,在瓶颈处的道路通行能力变化的条件下展开了出发时间选择实验,通过对被试者的时间选择行为和结果进行实验数据分析,主要分析整体选择行为的均衡特征及个体选择行为对整体均衡的影响。并针对此实验现象构建强化学习仿真模型,复现实验过程及结果,再对仿真模型进行数据分析,结果表明模型具有很强的适应性,能很好地再现各种实验条件下的整体选择行为。(3)随着经济时代的快速发展,道路上的车流量逐渐增多,导致交通事故频发以及道路拥堵,路径选择显得尤为重要,在复杂的交通环境下,动作维度较高时DDPG算法无法区分最优动作和次优动作之间的差距,针对这一问题,本文提出了一种基于DDPG算法的优化评价改进算法(Deep Deterministic Policy Gradient with Optimization Evaluation,OE-DDPG)。通过改进算法的损失函数并加入Dropout机制从而拉开最优动作与次优动作TD_error值的差距,并将OE-DDPG算法应用于难度环境不同的无人驾驶汽车仿真中。结果表明,本文提出的OE-DDPG算法能有效提高算法的收敛速度和鲁棒性,并能够很好的进行路径规划。
其他文献
义东断裂带作为济阳坳陷沾车地区重要的边界断层历经多年的勘探研究,成果显著,但对于其形成机制,演化特征以及断层与沉积作用的关系等方面的研究目前依然缺乏统一的认识。本
球头立铣刀广泛适用于模具、汽车和航空航天等制造领域中各类复杂曲面的加工。球头立铣刀几何结构复杂,精确地实现球面上切削刃的数控磨削一直是刀具制造中的难题,长期引起国内外学者的极大关注。早期采用平面前刀面的刃磨方法,很难适应当前性能多样的被加工材料,更复杂的前/后刀面设计,多采用近似方法,往往使实际磨削的刀具偏离设计模型。本文使用微分几何中曲线标架表示法平面内刀具切削角度的参考平面,建立了前刀面为等法
固井气窜问题是影响固井质量的重要问题,而固井材料的选取对气窜是否发生有很大的影响,常规胶乳等有机类固井材料对地层敏感性大,使用条件有诸多限制,而二氧化硅等无机固井材
董铺水库是合肥市重要的水源地之一,其生态系统健康状况直接影响到合肥市民的身体健康。因此,了解董铺国家湿地公园(试点)环境状况,对探究董铺水库水质保护及管理有重要参考意义。本研究采集了董铺湿地公园陆地区域24份土壤样本以及水库内和入库河流的25份沉积物、23份上覆水样本,在分析样本的理化性质的基础上,评价了湿地公园的土壤质量及生态系统健康状况。主要研究结果如下:(1)董铺湿地公园内陆地区域的土壤颗粒
橡胶工业目前常用的硫化促进剂大多含有仲胺基(次磺酰胺类、秋兰姆类等),在橡胶制品生产过程中容易产生致癌性的亚硝胺类化合物,已成为影响人类健康的大问题之一。黄原酸盐是
硫氧还蛋白Thioredoxin(Trx)是一种小的热稳定酸性蛋白,通过其活性部位二硫醇的可逆氧化改变靶蛋白的氧化状态。Trx是细胞中重要的氧化还原蛋白,具有调节细胞抗氧化、抗胁迫、细胞凋亡、DNA结合转录因子活性等功能。根瘤菌是一种好氧革兰氏阴性细菌,与豆科植物能形成共生固氮根瘤。根瘤中的固氮酶对氧极为敏感,因此,根瘤菌需通过防氧屏障来保护固氮酶的活性。通过生物信息分析,在豌豆根瘤菌RL3841
航空护卫公司精细化管理系统(SEMS)项目,是由航空护卫公司自主研发,旨在配合公司实施精细化管理,以推动公司向市场化、数字化、国际化发展,致力于牢牢守住安全发展和真情服务的底线,为粤港澳大湾区世界级机场群建设和高质量发展做出贡献。精细化管理是现代企业运营管理的发展趋势,是实现企业科学管理、规范管理、高效管理的有效途径。随着经济建设,行业竞争和企业发展,精细化管理成为必然选择。精细化管理模式指的是在
本文介绍了一种改进的弱有限元方法,即MWG,这种方法是基于弱有限元方法改进而来的.弱有限元方法常被用于求解偏微分方程相关的问题,主要思想是用特殊定义的弱微分算子来代替传统意义的微分算子,在每个剖分单元内部和边界分别选取间断的分片多项式作为基底,无需考虑单元间的连续性,但增加了整个离散系统的未知量个数,相对于弱有限元方法,改进的弱有限元方法的特点在每个剖分单元上用内部函数的均值来代替边界函数,从而整
本文主要研究了有限元方法求解关卡期权定价问题.关卡期权是一类应用广泛的弱路径相关期权,但是大部分关卡期权的定价都很难求得其解析解.我们以看涨双敲出关卡期权为例,基于Black-Scholes模型可以给出这类期权满足的抛物问题模型,即一个不规则区域上的倒向变系数抛物问题.对于这类问题的求解,我们首先通过变量替换将原问题转化为不规则区域上正向常系数抛物问题.然后,我们将不规则区域变换为规则求解区域,采
轻量化是现代航空航天技术的发展需求,由于碳纤维复合材料(CFRP)具备轻质高强的突出特点,其在航空航天领域的应用越来越广,相关产品中出现了大量的CFRP与金属材料的叠层连接