基于深度Q网络的车辆动态合乘匹配及路径优化研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:reddhong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人们生活水平的提高,居民私家车的数量在最近几十年急速增长,这使得人们对于出行需求逐渐由公共交通转为更加快捷舒适的私家打车出行,但是有限的道路与能源资源却不能无限满足私家车数量与人们对打车需求量的增长。另一方面,随着打车出行人数的增加,传统的“一人一车”的服务方式运营效率非常低下,使得车辆座位利用率极低,但是使用频率却越来越高,越来越不能满足大多数人的出行需求。近几年兴起的“共享经济”使得合乘出行成为人们能接受的比较流行的出行方式,合乘指的是有相似路线的乘客通过共同承担出行费用的方式选择同一辆车一起乘坐出行。通过合乘出行,不仅可以充分利用车辆自身容量,降低空载率,有效缓解乘客打车难的问题,还可以在有限的道路资源上实现更多的出行需求,缓解交通拥堵,降低车辆能源消耗,减少车辆尾气排放,促进绿色城市环境的形成。本文在对国内外关于车辆合乘现状与其路径优化问题相关研究进行梳理分析之后,提出了基于深度Q网络(Deep Q-Network,DQN)的车辆动态合乘匹配与路径优化算法,解决了传统路径优化算法如全局路径优化算法容易引起的陷入局部最优问题,能够通过自主训练学习完成车辆与随机产生的乘客订单的自动匹配,并且实时进行路径优化。本文分析了深度强化学习算法的各种组合方式及其特点,最后选择DQN网络结构,将神经网络与Q-learning结合,使神经网络代替Q表存储动作值函数,通过神经网络实现节点向量输入到路径输出的映射。通过马尔可夫决策过程(Markov Decision Process,MDP)制作专家样本,以模仿学习的方式加速DQN收敛。同时在训练过程中,为了减少动作探索随机性,引入了先验知识指导车辆进行动作选择,干预算法训练过程,提高算法效率。为了解决环境中车辆间的订单任务冲突的问题,本文采用基于分布式博弈论的任务分配算法,车辆使用其本地信息和交互信息,以分布式的方式获得各自最佳策略。在基于分布式博弈论的任务分配中,车辆根据DQN算法提供的路径策略进行任务协调,来选择他们的免冲突订单。最后,利用芝加哥市的道路环境与其提供的车辆运营数据对所提算法进行了验证。
其他文献
根据世界卫生组织发表的统计,癌症已经成为造成人类死亡的第二大元凶,而在各种肿瘤中,脑肿瘤是最致命的类型之一。对于脑肿瘤患者而言,及早地确定脑肿瘤的类型对于制定专门的治疗方案和治疗后的存活率极其重要。医学影像技术通常被选为鉴别脑肿瘤类型的首选技术。在过去,脑肿瘤的诊断需要医生阅读肿瘤图像,然而人的精力是有限的,大量的重复工作会带来诊断错误率提升进而加重医患矛盾。为克服这些问题,以病理图像为基础的计算
传统的机械手路径规划方法通常需要建立精确的数学模型,只能用于固定的任务环境,缺乏泛化能力。近年来,深度强化学习(Deep Reinforcement Learning,DRL)在机器人博弈等领域取得了突破性的进展,研究人员开始探索将DRL应用于机械手控制的可行性。另外,虽然DRL在单智能体环境下的研究逐渐趋于成熟,但在多智能体场景中仍然有较大的发展空间。与单智能体环境相比,多智能体环境最大的不稳定
为了适应日益增长的三维动画、游戏、虚拟现实、医学图像重建和文物保护等领域的建模需求,针对自动三维重建方法的研究日趋活跃。本文以基于多传感器信息的三维重建算法为研究课题,重点研究了基于单目或多目彩色图像的三维对象重建算法以及基于深度信息的三维场景检索算法。由于传统算法需要大量的图像数据作为输入,且在运行速度上还不能令人满意,因此随着深度学习技术的快速发展,越来越多的研究人员开始尝试使用深度神经网络来
随着硬件水平的不断提升与相关研究的持续推进,图像融合技术在各个领域的应用都在不断深入发展。同时,随着计算机算力水平的不断提升,卷积神经网络理论也在迅猛发展,已经被广泛应用于目标识别、人脸识别等多个领域。一方面,引入卷积神经网络可以改进图像融合中的特征提取与分配环节,在此条件下重新设计的图像融合框架可以提升融合图的融合质量。另一方面,现有的相关论文鲜有基于卷积神经网络设计的三通道或多通道的图像融合模
边缘计算拥有低时延和高安全等诸多优点,边缘计算可以看作“微云”,相比云来说其本身的计算资源、存储资源都更受到局限。在边缘设备上会有多种异构终端接入、异构数据存储且多种应用运行其上,边缘设备提供安全的支持系统是边缘设备安全的基础。Docker是基于“沙箱机制”的一种轻量级容器引擎,将底层文件、镜像和应用程序等统一打包的虚拟化技术其具有统一的标准化打包流程、强大的可移植性和隔离各个应用的安全性等优点,
随着人机交互技术的不断发展,Web应用服务性能与用户体验已经成为衡量Web应用运行质量的重要因素。用户体验评价方面,除了渲染时延这一常规指标以外,因用户因体验不佳而产生的异常行为也是重要的评价参考,而Web应用服务性能评价指标则通常包括云端服务响应请求的平均速率、稳定程度以及渲染端解析服务器响应资源的效率。用户在访问Web应用时产生的用户行为与Web应用服务性能之间的关系密不可分。例如:当请求服务
调制解调是信号检测和信号解调之间的关键技术,在非合作通信中起着至关重要的作用。调制识别技术在民用和军事领域都应用广泛,怎样在实际通信传输过程中,实现对接收信号调制方式的准确识别,是目前在调制识别技术当中迫切需要解决的难题。本文针对传统调制识别方法中所存在泛化能力弱、鲁棒性差等缺点,将深度学习应用到调制识别领域,并选用了模型更小的轻量级神经网络作为识别模型,提升了准确率的同时极大地减少了计算量,本文
石油是维持现代社会正常运转的重要能源之一,石油开采过程中一旦发生泄露,将会造成严重的生态灾害和巨大的资源损失。近年来视频监控技术在油田安全巡检中引起广泛的关注,由于视频监控图像具有直观方便的特点,在石油安全巡检中引入计算机视觉技术进行在线监控,及时发现油田采油作业过程中可能出现的故障,可以节省人力资源的消耗并保障安全巡检的质量和效率。传统的漏油检测采用LDR(Low Dynamic Range I
近些年来,运动捕捉技术在多个领域获得了越来越广泛地应用。基于惯性测量的运动捕捉系统相较于其他运动捕捉设备,成本低廉、使用方便、稳定性强,具有很高的研究价值。本文基于惯性测量技术设计研究了一种价格低廉、实时性良好的人体运动捕捉系统。本文的主要研究工作具体如下:1.分析了人体姿态跟踪系统的具体需求,并根据使用需求给出了系统的整体设计框架,完成了系统的硬件选型与制作以及上位机的软件选取。2.对三种传感器
缺陷检测是常见且重要的工业场景,由于待检测产品及其缺陷的多样性,传统的机器学习算法在可复用性上表现不佳。卷积神经网络以其强适应性和转换简单等优点在缺陷检测领域得到了迅速而广泛的运用。然而,由于图像表面众多像素级的缺陷特征的提取非常困难,即使特征金字塔可以针对小缺陷特征进行提取,而不同尺度特征图耦合时会损失大部分微小缺陷的特征,使得大背景下微小缺陷检测存在困难,性能难以提升,成为缺陷检测领域研究的热