基于Q-learning的复杂停车场路径规划研究

来源 :苏州科技大学 | 被引量 : 0次 | 上传用户:absyou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着城市车辆占有率不断升高,城市停车困难问题难以解决。传统停车场存在停车位数量不足、智能化水平低下等问题,而城市发展要求停车场等社会公共基础设施不断完善化。相比于传统商圈的停车场,现在城市商场高楼体量正在不断扩大,为解决车位不足问题,提高空间利用率,停车场建造在往立体化发展,这意味着停车场内环境更加复杂化,驾驶员寻找车位有一定困难,对停车场路径规划的要求也变得更高,如果当前停车场内车位停满,车辆的停放需要考虑周围停车场及路面车辆交通情况。路径规划作为智能停车场的重要组成部分,能够对目前停车场出现的问题起到改善作用,通过路径规划指导车辆以最优路径行驶到目的地,在一定程度上降低车辆找车位的行驶时间,提高车辆的行驶效率,节省经济消耗。传统路径规划算法往往需要先对环境信息进行加工处理,这样难以保证算法的实时性。而强化学习可以利用智能体与环境交互,进行自我学习给出最优策略。因此,本文基于强化学习算法在停车路径规划问题上提出了以下改进方案:(1)为了提高停车场内多区域的路径规划算法收敛速度,提出基于动作选择优化的SL-Q(λ)算法研究,将Q学习算法与资格迹结合更新Q值计算公式,将探索概率与成功探索次数相关联,使得探索概率取值动态化,在多区域停车场环境内进行仿真实验,验证算法的可行性。(2)为了解决多层停车场环境导致的维度灾难问题,提出基于经验池优化的DEDQN算法研究,改进目标网络公式,增加存放能够到达最终目标点以及探索到最终位置接近目标点的有效样本的经验池,在多层约束停车场环境内进行仿真实验,验证算法的可行性。(3)为了解决停车场内多车辆共同停车问题以及当前停车场车位已满时需要寻找附近停车场的情况,提出基于多智能体的路径规划方法,采用将集中式学习和分布式学习结合的方式设定联合状态、联合动作以及奖赏函数,利用DEDQN算法进行实验,在多层停车场环境内实验多智能体找多目标的可行性,在多个停车场环境内实验多智能体寻找最优停车方案的可行性。本文对复杂停车场可能出现的问题进行研究,根据真实停车场场景搭建环境验证算法的可行性和稳定性,最后提出了其他可优化方向,为之后的研究提供参考。
其他文献
考虑龙门山两侧地壳构造的横向不均匀性以及四川盆地第四系土层分层建立了三维四川盆地模型。基于谱元法和并行计算技术模拟了汶川地震有限断层、点源破裂下盆地的地震响应。通过对比不同构造模型模拟的地表速度峰值(PGV)及其比值、剖面时程、放大系数的分布,研究了构造不均匀性对四川盆地长周期地震动模拟结果的影响,讨论了盆地模型维度、震源形式及其上升时间等对这一影响的改变程度。结果表明:1、利用Ji&Hayes反
停车场作为城市建筑发展不可缺少的一部分,近些年发展十分迅速。在人工智能时代下,智慧停车场对停车场管理提出了信息化、智能化的新要求,传统的监控、记录、查阅为主的停车场视频监控系统已不能完全满足停车场智能管理的要求。相比于传统的监控系统,智能监控系统可以实时检测停车场中车辆目标、车辆种类,并对异常车辆进行报警。而所有这些智能化的功能,其关键技术是车辆的检测与分类。同时,在停车场场景下要求检测与分类结果
安全帽是一种延迟和缓解外力对头部冲击的重要防护设备,在各种有安全防护要求的作业现场均被要求正确佩戴。近年来,在各大建筑工地出现的安全事故中,因建筑工人未正确佩戴安全帽所造成的建筑安全事故占有较大比例。因此,通过对进入作业现场的人员实施安全帽是否正确佩戴的自动检测(以下简称“安全帽检测”),对预防和减少建筑安全事故的发生具有重要的现实意义。通过实地考察调研建筑工程作业现场工人安全帽的佩戴情况,深入研
圆弧形沉积谷地是一种常见的场地地形,对地震波的传播有很大的影响,因此研究圆弧形沉积谷地对地震波的放大效应具有理论研究和实际工程意义。对于规则的场地情况,一般可以通过解析方法得到其频域范围内的解析解;而对于复杂的场地类型,用解析方法求解很困难,常常借助于数值方法。本文采用Ansys有限元软件结合MTF(英文全称Multi-Transmitting Formula,多次透射边界)的数值模拟方法,计算分
如今无人机已被应用到各个领域,助力社会的发展,但由于无人机管制体系不健全以及人们安全意识淡薄,导致无人机伤人、隐私泄露等问题频发,扰乱社会治安,因此许多建筑物附近都会禁止无人机飞行。无人机入侵检测首先要做到检测出无人机的存在,其次要能够对其进行定位,找到其所在位置。WiFi感知技术常被应用于入侵检测和室内定位等领域,其有着成本低、易于部署等优点,是作为无人机入侵检测很好的技术选择。本文的主要工作是
在全球范围内,建筑行业的能耗占社会总能耗的比例近40%,建筑行业的二氧化碳排放量占总排放量的30%。在中国,建筑能耗占社会总能耗的比重接近20.6%,二氧化碳排放量占到总排放量的19.4%。在建筑能耗中超过50%的能耗来自暖通空调系统,因此暖通空调系统(HVAC)被认为是整个建筑物中能耗最高的能源消耗系统。通过采用高效的优化算法来改进暖通空调系统比直接替换暖通空调物理设备在效率,可持续性和经济效益
针对重工业、制药等工业废水中有机污染物在常用的工艺条件下难以处理酚类小分子污染物的现状,自然界中可溶性微污染物的转化途径为我们提出了一个可行的解决思路:弱氧化-混凝耦合联用工艺。(1)本文首先通过文献系统总结氧化锰体系24种有机污染物和酶催化氧化体系14种有机污染物的反应动力学速率常数,并基于密度泛函理论(DFT)计算不同有机污染物的电子结构特征参数,进一步采用非线性回归及多元线性回归的方法将不同
近年来,随着我国城市的规划和发展,越来越多的工业企业从城市搬离,其遗留的污染场地的数量也在增加,污染场地中产生挥发性的恶臭污染问题已经引起社会各界的广泛关注,例如在社会上影响较大的“常州毒地”、“中小学毒运动场”等事件中,均暴露出较为严重的恶臭污染问题。另外,在场地修复过程中,也常常因恶臭污染物逸散引起周边居民投诉。在污染场地被修复后,恶臭物质含量和影响也不容忽视,其浓度高低会直接影响公众对修复效
电器火灾发生次数频繁,急需利用技术手段来探测危险源的存在,危险源目标检测技术的研究与应用有利于促进危险源威胁的解除。目前,深度学习已经在各种不同的任务中推动了目标检测领域的发展,但是现在还没有针对电器危险源的目标检测系统,即便有针对火焰和烟雾的,也只涉及灾难性大火以及单纯烟雾检测,各类报警传感器对于烟雾浓度以及火焰温度把握不好。因此,通过研究各类电器危险源、火焰危险源和各种烟雾危险源目标检测技术,
当前各国经济不断快速发展,能源消耗日趋增加,全球气候环境问题日益突出。建筑能源消耗在整个社会的能源消耗中占据了较大比例。因此,加强对各类建筑物的能耗管控是解决全社会能源消耗问题的必然要求。建筑能源的消耗以空调系统的能耗为主,本文提出一种基于敏感性策略和缓冲采样优先经验回放的竞争深度强化学习方法,并以此对建筑空调能耗进行预测,相比传统的深度强化学习方法取得了更好的预测效果。本文对以下问题进行了深入研