基于深度强化学习的时空众包任务兴趣匹配方法研究

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:qb54223322
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智能设备和无线网络等基础设施的普及,时空众包任务越来越多的出现在平时的生活中(例如,滴滴、美团以及优步等)。时空众包任务的研究也越来越得到学术界的重视。其中,时空众包任务的任务分配成为了研究的重点。传统研究方法通过匹配的方式进行任务的分配,大多缺少考虑到动态的环境。此外,大多数的推荐方法是针对职业性的时空众包任务工作者,注重考虑时空众包任务分配的效率和利益收入,较少考虑到工作者本身的兴趣与爱好。然而,近年来研究表明兴趣偏好能在很大程度上影响时空众包任务完成的质量。针对上述问题,本文研究通过深度强化学习算法解决时空众包任务的兴趣匹配问题。首先,本文研究了为处于不同时空众包场景下的工作者和发起者寻找符合自身兴趣爱好的任务。当前的时空众包任务类型丰富多样,不同类型的时空众包任务数据的密集程度具有较大的区别。数据密集型的时空众包任务短时间会有大量的任务和工作者到来。然而,数据稀疏型的时空众包任务可能较长时间没有工作者和任务到来。因此,本文提出在通用分配方法中采用工作者到来后进行响应的分配方法,立即完成任务分配,以此来达到适应各种场景下时空众包任务,以保证分配方案具有通用性。本文在为工作者以及请求者解决寻找符合自身兴趣爱好的众包任务问题时,将时空众包任务的分配过程建模成两个马尔可夫决策过程,体现工作者和任务发起者不同的优化目标,分别进行优化,然后组合起来进行任务分配决策,建立了一个通用的解决方案(Deep Adaptive Interest Network for Task Assignment in Spatial Crowdsourcing,DAIN)。在DAIN中,本文提出了使用Deep Q-Network(DQN)算法来自适应地处理工作者以及请求者对时空众包任务的偏好,以实现当前的最佳分配。第一个工作讨论了支持数据密集型和数据稀疏型场景下的通用方案。然而,对于短时间会到来大量任务的密集型场景(例如,滴滴、美团等),DAIN计算出的结果为局部最优,无法达到全局最优。因此,本文第二个工作研究了短时间范围内的工作者整体兴趣匹配问题,设计了基于深度确定性策略梯度算法(Deep Deterministic Policy Gradient,DDPG)与匈牙利算法结合的全局解决方案。由于该解决方案中需要计算的是连续值,DQN算法不适合用于连续控制的情况。因此,该解决方案中使用DDPG算法。在该解决方案中,请求者发布时空众包任务到众包平台中,工作者到来后添加自身信息到众包平台中,等待分配任务(在一个时间片段内计算)。众包平台通过DDPG算法动态的计算每个众包任务与工作者的兴趣度。工作者对计算出的结果进行反馈评价,任务分配系统将此过程记录存储。任务分配系统中学习函数不断从存储中的提取记录,用于神经网络训练学习,不断更新神经网络。最后,将众包任务和工作者建模成二分图,上述众包任务与工作者的兴趣度作为两种之间的键值对,通过匈牙利算法计算出最佳的整体匹配方案。在本文实验部分,数据集选择了滴滴出行盖亚计划提供的时空众包任务数据。本文第一个工作DAIN对比其他竞争方法在各项评价指标上更为优越,评价指标总体提升在6%左右。本文第二个工作对比其他竞争方法在整体指标上更具有优越性,在不同时间范围里整体指标平均值分别提升了52分、32分和16分。
其他文献
患有色觉缺陷(CVD)的人难以区分颜色,全世界约有2亿人受到色觉缺陷疾病的影响。生活中最常见的色觉缺陷类型是L椎体细胞缺陷和M椎体细胞缺陷,我们通常称为红绿色盲。由于L椎体细胞缺陷和M椎体细胞缺陷是由性染色体X染色体上的基因决定的。因此,男性比女性更容易患上这种遗传性疾病,且目前的药物无法治愈。这种疾病会导致可识别信息的丢失,从而严重影响日常生活,甚至可能使他们面临危险。为了帮助CVD患者改善日常
学位
从单张图片中进行三维人体姿态与形状估计是计算机视觉中一个开放问题。由于图片天然缺乏深度信息,模型很难获取真实的深度信息。并且在真实场景中,遮挡问题普遍存在,导致人体可见信息不全。此外,对人体模型进行服装建模仍然是一个复杂问题。遮挡问题是人体姿态和形状估计任务中一个关键问题,其中遮挡包括人体的自我遮挡、物体与人的遮挡以及人与人之间的遮挡。为此,本文提出了一个新的框架,它整合了可遮挡感知的轮廓和2D关
学位
知识图谱是一种高度结构化的语义知识库,在语义检索、个性化推荐等领域有着广泛应用。三元组抽取作为知识图谱构建过程中至关重要的步骤,目的是从文本数据获取两个物理事实之间存在的客观联系。面向限定领域的三元组抽取方法需要预先定义所有实体和关系类型,使用机器学习或深度学习的方式在大规模数据集上训练分类模型。然而,在实际应用中实体和关系类型都会随着文本量的自然增长而增加,预先定义所有实体关系类型较为困难。对此
学位
脑机接口系统(Brain Computer Interface System,BCIs)是一种不依靠外周神经通路和肌肉等常规信息传递通道来控制外部设备的系统。传统单脑运动想象脑机接口作为最常见的主动式脑-机交互范式,存在信息传输速率较低、稳定性差等问题,难以满足快速、高精度、多指令等复杂作业的性能需求。近几年,越来越多的学者开始研究如何将基于脑电的脑机接口单脑范式向多脑扩展,以得到更稳定的分类结果
学位
随着大数据时代的来临,各行各业每时每刻都在互联网中产生数据,数据体量正以指数级的速度增长。然而,在执行诸如在线预定、自动存取款、库存控制等操作时往往需要结构化数据,而结构化数据的获取依赖于自然语言处理中的信息抽取技术,信息抽取技术可以实现数据从非结构化到结构化的过程。信息抽取技术的核心子任务为命名实体识别和关系抽取,通过命名实体识别和关系抽取,可以快速抽取出句子中的有效信息,服务于日常生活中的各种
学位
早在新冠肺炎疫情冲击之前,福建省已处于经济增速换档期、结构调整阵痛期和前期政策消化期等“三期叠加”的困境之中,但新冠疫情使福建省经济又面临着“需求收缩、供给冲击、预期转弱”的三重压力。全省经济加速下行,集中表现为各市场主体资产负债表的全面衰退;而金融则充分发挥了跨周期逆周期调节作用,全面体现了金融为民的使命担当。新冠疫情充分暴露了福建省经济运行中的结构性和体制性问题,同时也重塑了社会经济生活秩序,
期刊
有限元分析作为目前广泛应用的数字化仿真技术依赖模型的离散化,模型离散化主要将模型转换成四面体网格模型或六面体网格模型。针对目前单一六面体网格生成与构造困难的问题,提出了一种基于体细分的复杂六面体网格模型交互式构造方法并构建了一个建模系统。此系统在建模阶段就以六面体网格单元作为基础形式进行构建,省去了将三角形表面网格转为六面体网格耗时的步骤,且将这种方法应用于拓扑优化结果CAD重建阶段生成Bézie
学位
人脸画像合成,是指将给定的人脸照片转换为某种艺术风格的肖像,如素描、钢笔画等。现有工作通常利用成对的照片-画像数据集,以有监督的方式训练画像合成模型,以获得较好的生成效果。然而,获取成对的照片-画像数据集需要耗费大量的时间、人力和财力。因此,无监督人脸画像合成方法,即从非成对照片-画像数据中学习照片域到画像域的映射关系,具有重要的研究价值。现在,研究人员已经提出了少量无监督人脸画像合成方法。不过,
学位
该仪器是为实施脉冲调制中频电疗方法而设计的一种新型电疗机。它将有关低频脉冲信号对中频调幅后,利用被放大的调幅波电流对人体进行治疗。经空军总医院临床实践,可治疗多种疼痛和疾病。本文介绍其电路设计原理。
期刊
声呐作为水下机器人、航行器等载具的辅助设备,为其执行海底目标探测识别、海床建模与绘图等任务提供有效的声学数据信息。声呐图像是声呐数据信息的一种直观表现形式。当前通过声呐图像实现海底探测的自动化、智能化已经成为一种主流的形式。传统图像识别检测方法常常依赖于专业人员丰富的先验知识,需要其根据当前受检测物体进行手工特征提取,受人为因素影响大,且检测速度与检测精度不理想。深度学习目标检测算法作为当前目标检
学位