基于强化学习的预测性任务分配方法研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:iamformywish
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智能移动终端、便携式传感设备的普及和实时定位等技术的发展,时空数据变得更易于采集、获取,并展现出极大的应用价值。基于群智感知的各类应用的蓬勃发展,使得围绕空间众包的研究工作成为热点。任务分配作为空间众包领域的核心研究问题之一受到了广泛关注,但目前的研究未能关注到众包环境中的实体间的相互影响和其在时空维度上的复杂相关性,同时忽略了动态变化的空间环境对于工人对任务的偏好差异的影响。为了解决以上问题,本文聚焦于在线场景下众包系统的动态性,针对众包实体预测、众包知识图的时空表征学习以及基于众包知识图和强化学习的任务分配等重要内容进行研究,取得的研究成果如下:(1)提出了基于地理分区的预测框架解决在线场景中的众包实体预测问题。在地理分区的基础上,首先基于众包实体在时空维度上展现的复杂相关性和供需关系存在平衡点的事实,提出了卷积时空注意力模型(Convolutional SpatioTemporal Attention Network,Conv-STAN)来预测众包实体的数量分布。然后进一步设计了基于聚类和时间加权的投票预测方法(Cluster-based Time-weighted Voting,CT-Voting),赋予近期的历史事件以更高的时间影响力,实现对众包实体上线的空间点事件的预测。在真实数据集中大量实验证明,相较于其他基线方法,我们提出的预测框架表现出了更好的预测性能。(2)提出了集成众包知识图的强化学习任务分配框架(Reinforcement Learning framework integrating Crowdsourcing Knowledge Graph for Task Assignment,CKGRLTA)来解决空间众包中一个全新的问题:基于动态变化环境的任务分配优化问题。首先,为了表征动态变化的众包环境并描述各类实体的语义连接,本文中定义了由工人、任务、地理位置点等多种实体组成的众包知识图,设计了新颖的基于异构知识图的实体嵌入表示学习方法,准确捕捉实体的语义特征。之后将学习到的实体嵌入表征用于众包知识图的状态表示,进一步提出了有效的状态表示学习方法(Crowdsourcing Knowledge Graph to Vector,CKG2Vec),来量化工人基于整个众包环境对任务的偏好差异,以及设计了基于局部子图的增量更新策略(Local Subgraph-based Incremental Update Strategy,LSG-Incr Update)来进一步模拟众包知识图中的实体交互及随之发生的变化,不断传递语义增量。最后在任务分配框架中集成众包知识图,基于强化学习的思想,设计了新颖的状态、动作、奖励和有效的DQN来实现空间众包的任务分配。通过真实数据集上的多组对比实验证明了我们提出的任务分配框架的有效性。
其他文献
国家生育政策的开放对人口的出生变化带来了广泛影响,学龄儿童的入学需求不断增加,同时在处于高密度城市环境背景下的北京市中心城区,校园占地面积扩展严重受限,这些因素共同导致了北京市中心城区小学校园使用空间不足、学位不足的问题。因此,本文致力于缓解北京市中心城区小学校园使用空间不足的问题,并为增加更多学位提供空间上的可能性。本文首先通过对北京市中心城区高密度城市环境下的小学校园进行调研,发现当下北京市中
学位
近年来,随着我国城市规模不断扩张,职住分离现象加剧,交通拥堵问题成为各大城市的痛点,人们对出行品质提出了更高的要求。在此背景下,产生了一种集约化相似出行需求的辅助公交形式——定制公交。其单人单座,定时直达的运营模式给乘客提供了高品质的出行体验,通过吸引乘客向公共交通转移来缓解拥堵。作为以需求为导向的公共交通形式,定制公交目前存在科学规划和客流吸引两大问题。本文从交通规划适度超前的原则出发,以长期预
学位
随着城市化进程的不断加快,为解决日趋严重的交通问题,许多大中城市提出构建以轨道交通为骨干的高效便捷综合公共交通系统。但受轨道交通线路固定、覆盖范围有限等因素的影响,“最后一公里”的衔接效率问题成为影响城市公共交通运输效率的关键因素之一。通过研究基于乘客出行选择行为的轨道交通接驳公交专线运营优化方法,系统优化接驳公交运营方案,能够有效地改善乘客出行体验与公交公司的运营收益。本文基于已有的轨道交通线路
学位
目前,京张高铁沿线国家级和省级非物质文化遗产多达96处,但主要以单体保护为主,碎片化局面埋没了其应有价值。本研究受“大运河”、“丝绸之路”等文化线路整合离散遗产点的启发,期望从京张高铁沿线非物质文化遗产整体保护思路出发进行统筹规划,将具有现代化意义的“京张高铁”与具历史文化机制的非物质文化遗产点两相融合,进而使高铁沿线非遗项目的整体价值得到有效凸显。首先从世界文化遗产保护领域视角的转变中,将文化线
学位
现代中国正经历着一个深刻的社会变革时期,个人和群体之间的冲突关系日益明显。在中国学术界,对个人和群体之间关系的思考主要基于“个体”和“群体”思维,并辅以关系思维。个人与群体的关系是中国社会正在发生的深刻变革中的一个深层次问题。本文通过文献分析和案例研究探讨了关系在不同艺术形式中的表现,包括交互装置艺术,进而提出了在个人和群体之间关系的多种可能性,并以交互装置的形式呈现。论文从前期调研、设计方案及设
学位
建筑产业化是现阶段建筑行业转型升级的主要发展趋势,而装配式住宅是实现产业化的重要手段。但是传统的从整体到拆分的设计方法无法满足目前的生产和建造模式,尤其是在如今信息技术不断发展的时代,对于设计思维和方法尚待做出某种改变。本研究主要从BIM技术应用于装配式住宅立面外墙设计的方法出发,旨在推动BIM技术与装配式住宅设计融合发展,为搭建标准化构件库的体系添砖加瓦,进而探索解决预制构件标准化与装配式住宅立
学位
近几年来,有关“行政认定”的字眼频繁出现在一些案件的刑事判决书中,内幕交易刑事案件便是其中较为典型的一类。行政认定的出现确实为内幕交易定罪量刑提供了专业性的依据,但也因司法机关对其过度依赖而引起了辩方的质疑,同时在刑事法学界也引发了一些有关行政认定的争议。本文运用案例统计和实证分析的方法,首先,通过对检索到的含有行政认定的55份判决书进行分析,发现证监会的行政认定在证据能力、证明力、审查标准、行刑
学位
爱是世间永恒的主题,有了爱才有了一切。然而,爱是有条件的,那就是你必须学会付出你的爱。正像下面两位同学所说。你要得到别人的爱,就必须要知道如何爱别人!
期刊
为响应轨道通信网络智能化演进需求,发展支持大容量、高速率与低时延等丰富业务应用势在必行。然而,特殊的链状覆盖方式与较高的移动速度导致用户在行驶过程中面临着复杂的高动态网络拓扑及资源管理问题。受既有轨旁网络架构及频段部署的限制,轨道通信网络愈发难以承载如海量连接下的铁路物联网、密集计算任务下的高级别自动驾驶、超低时延端到端传输与高速媒体传输等业务。为应对高动态网络环境资源管理难题,进一步提升业务承载
学位
随着城市轨道交通的运营里程和列车运行密度不断增加,系统整体能耗也随之攀升。全球范围内节能减排的呼声和国家“双碳”政策都对城市轨道交通系统节能问题的研究提出了要求。为实现降低城市轨道交通系统总能耗的目标,本研究考虑在城市轨道交通线路装配轨旁储能装置以增大再生制动能的回收利用率,并建立以牵引变电所总输出能耗最小为目标的储能装置容量配置优化模型;然后基于某线路实际数据,从规划设计的角度出发获得轨旁储能装
学位