基于强化学习的智慧出行路径规划算法研究与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:tzmming123321
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,大众旅游出行需求呈多样性和复杂性增长态势,旅游出行类手机应用软件层出不穷,出行路径规划问题成为当今社会关注的热点。现有的电子地图大都采用以深度优先或广度优先为主的路径规划算法为用户规划出行路线。然而,具体的出行路线复杂多样,用户需求各不相同,泛化能力差、难以满足用户多样化的需求是现有路径规划算法实用化的主要难题,具体表现是:第一,安全系数不足,现有方法主要以最短路径为首要优化目标,对于路径安全性能这一重要因素考虑不周;第二,应用灵活性差,不支持自定义选择多个目的地,无法满足用户个性化全程路径规划需求;第三,数据利用率低,现有方法大多只考虑用户与目的地的位置信息,并未采用政府、交通部门等公开的多源数据,难以为用户规划一条安全舒适的行进路线。针对上述问题,本论文研究并实现了基于强化学习的智慧出行路径规划算法。
  首先,为满足用户行进安全性的需求,本论文提出了基于策略引导机制的Q学习安全路径规划算法。该算法利用地图路网数据和政府公开的犯罪数据,研究了基于安全指数的强化学习奖励函数,并将安全路径规划问题建模为马尔可夫决策过程;然后结合基于人工势场函数的策略引导机制的启发式探索方法,完成单目标点安全路径规划任务。实验结果表明,本论文提出的算法在权衡安全性和行进距离短两个目标方面取得了较好的性能,同时该算法收敛时间比采用贪婪探索策略降低了31.52%。
  接下来,为满足用户历经多个目的地且全程路线最短的需求,本论文提出了基于深度强化学习演员评论家(Actor-Critic,AC)的多目标点路径规划算法。该算法基于指针网络(Pointer Network,PtrNet)和长短时记忆单元(Long Short-Term Memory, LSTM)构建策略网络和评价网络,采用AC优化的训练方式更新策略网络和评价网络参数,减轻了算法模型对大量高质量标签数据的依赖,同时通过预训练的方式加快深度强化学习算法的收敛速度,最终完成多目标点访问顺序路径规划任务。实验结果表明,与基于遗传算法和距离矩阵映射的多目标点路径规划方法相比,本论文提出的算法可以有效缩短多目标点总路径长度。
  本论文研究并实现的基于强化学习的智慧出行路径规划算法可广泛应用于电子地图等旅游出行软件,为用户提供个性化出行路径规划服务。
其他文献
葡萄酒作为古罗马人最主要的酒精饮品,贯穿于古罗马文明史的始终。葡萄酒文化作为古罗马饮食文化中不可或缺的重要一环,其发展脉络与古罗马社会进程的兴衰起伏息息相关、相互影响。本文以发展的视角探讨葡萄酒文化在古罗马共和时期至帝国时期之间的变化,展现葡萄酒在古罗马社会中扮演的角色及其产生的影响。  早在古代世界,围绕着葡萄酒的生产和消费就已形成了完整文化甚至崇拜。在葡萄酒文化发展史上,古罗马人承前启后,将葡
本篇论文以文学社会学作为理论基础,对埃及作家巴哈·塔希尔的小说《爱在流放地》进行了多维度研究,论文主要内容由五部分组成:  第一部分为绪论,首先简介了作家巴哈·塔希尔的生平、作品、所获荣誉及其在文学史上的地位等,并对《爱在流放地》的内容进行概括。继而综述了国内外学者、专家对该作品的研究现状,最后阐释了本篇论文的研究方法和意义,包括文学社会学的基本理论和方法,以及论文研究的目的、价值和难点等。  正
学位
随着经济发展及知识更新换代的加速,社会对外语人才的要求越来越高。外语毕业生不仅需要拥有扎实的专业知识、语言能力,还应具备如创新能力、团队精神和合作能力等综合能力,同时也应获得自主学习的能力,以适应不断变化的职业领域要求。  在此背景下,外语教学也要适应新形势发展的要求。传统的、仅以语言知识的传授和基本技能训练为目的的课堂已不能完全满足社会的需求。学生在课堂上是知识的被动接受者,以教师和教材为中心的
学位
第一部分Aurora激酶抑制剂VX-680对HUVECs凋亡、迁移和血管生成的影响  目的:  1.探究VX-680作用HUVECs(HumanUmbilicalVeinEndothelialCells,人脐静脉内皮细胞)后,对其增殖、凋亡、迁移及血管生成的影响。  2.探讨VX-680影响血管生成的分子机制。  方法:  1.利用MTT和平板克隆形成实验、DAPI染色法、划痕愈合实验、体外小管形
学位
船用二冲程柴油机功率大、热效率和可靠性高,已经成为船舶运输的主要推进动力源。船用低速二冲程柴油机使用重油作为主要燃料,经济性得到了巨大的改善,但污染物排放问题十分严重。国际海事组织(IMO)对于NOx排放量的限制值逐渐严格,其中在2016年开始执行的TierIII排放标准对NOx的限制值比上一阶段TierII降低了74%~76%。由此可见,为了使船用二冲程柴油机NOx排放满足TierIII标准,开
碱金属基干法脱除 CO2的技术日益受到学术界的关注,其具有改造成本低(只需增加一套CO2捕集设备)、能效高且没有二次污染的特点,它的主要原理是碱金属碳酸盐(主要是K2CO3和Na2CO3)在100℃的温度以下与CO2和H2O进行气固反应生成重碳酸盐从而达到 CO2捕集的目的。其中钠基吸收剂具有再生温度低、成本低但是碳酸化反应速度慢的特点,而钾基吸收剂具有碳酸化反应速度快但是再生能耗较高、价格昂贵的
主动噪声控制是一种重要的噪声控制技术,近年来被广泛应用于汽车、耳机等场景。而在中央空调、强力风机、通风管道、发动机等管道噪声控制应用领域尚未见过多报道。  现有的管道主动噪声控制的研究多以管道声场中的平面波为对象,本论文选取管道噪声为对象,设计了一种有限长管道模拟实际环境,对管道声场中的平面波进行主动控制。主要设计和搭建了管道主动噪声控制硬件和软件平台,通过计算机仿真验证算法的有效性,并在实物平台
加快推进高原地区开发性新线建设是我国《中长期铁路网规划》的重要内容。高原地区铁路沿线电力系统不发达,外电接口少,短路容量小,单相牵引负荷对三相电力系统的冲击大,负序问题严重。另外,高原地区铁路沿线桥隧设计比例高,长大坡道密集,重载机车过分相时容易造成“坡停”事故。贯通同相供电方案可以改善长大坡道区段电气化铁路的牵引供电能力,减少甚至取消电分相环节,提高供电可靠性与运行安全性,适用于高原地区高速铁路
随着新能源技术的发展和成熟,多种能源组成的混合能源系统更能适应复杂环境下的发电需求。燃料电池在多能源互联系统中起到连接氢能与电能的桥梁作用,在学术研究及商业运用中得到了广泛的关注和发展。其中风冷型质子交换膜燃料电池(Proton Exchange Membrane Fuel Cell,PEMFC)系统因其辅助部件少,结构简单等优点,在5kW以下发电系统中具有较好的应用及发展空间。由于燃料电池技术限
随着我国电气化铁道建设的迅速发展,交直交型机车越来越广泛地应用在全国的高速铁路中,由于高速列车与牵引供电系统参数匹配不当而引起的高频谐波谐振现象也日益突出。谐波一直来都是电气化铁路中的主要电能质量问题之一,目前已有许多文章研究了单车运行时的谐波谐振问题,但是实际过程中同一供电方向还存在多车运行的情况。本文基于大量实测数据,分析了多车运行时牵引负荷的特征参数、谐振时机车的位置与频谱分布,并通过仿真模