基于强化学习的交互式任务规划算法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:syy1116
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
任务规划技术在现实生活中应用十分广泛。任务规划算法通常在给定有限的子任务空间下进行子任务安排,进而得到一条可以满足业务需求的任务流程。目前,基于开放性空间的任务规划求解问题成为研究热点。但这类方法因开放性解空间的原因,对于交互性和动态调整性提出了需求,用户需要在任务规划阶段交互式参与解决方案的调整。为此,论文以代码模块组合任务规划为典型场景,将代码模块组合任务规划分解为代码搜索与代码组合两部分,解决了代码模块组合任务规划技术缺乏交互能力和动态调整能力的问题。具体地说,论文研究的工作包括了三部分:(1)提出了基于多模态的语义代码搜索算法。针对交互性问题,通过代码模块查询搜索的方式实现交互能力。该算法将查询文本和代码嵌入为统一的向量,针对代码和查询的文本特征使用多头注意力方式编码,针对代码的结构特征使用路径Bi-LSTM编码,最终通过改进的多模态向量匹配模型对代码模块打分得到候选代码集合。(2)提出了基于强化学习的代码模块组合方法。针对动态调整问题,论文提出的方法将强化学习应用于代码模块组合任务,使用基于强化学习的任务规划算法将代码搜索和代码组合设置为强化学习的单步任务,解决代码模块组合问题。利用Bi-LSTM对历史流程图特征进行提取,以得到历史流程信息的强化学习状态表示;通过BERT融合代码和查询代码特征,得到序列交互特征;利用策略网络选择目标代码,最后利用模仿学习和策略梯度上升对网络参数进行更新。(3)设计并实现了基于强化学习的交互式代码模块组合系统。在上述两种方法的基础上,搭建了代码模块组合系统。系统在Web端通过图形化界面允许用户输入查询交互式组合代码到工作流中,并在服务端通过在线学习的方式更新策略。从目前已知的工作来看,论文提出的方法是首个将代码模块组合任务分解为多步代码搜索问题的方法,创新性地利用查询搜索的方式实现代码模块组合任务的交互性,同时利用强化学习技术允许用户动态调整任务规划的每一步。
其他文献
随着现代科技的革新与发展,海量的互联网用户数据在网络中产生,然而集中式地将数据收集到数据中心的传统方法具有很高的风险与成本,在机器学习中保护隐私的迫切需求促使了联邦学习技术的诞生。而边缘网络的发展让网络服务得以从云端下沉到边缘,硬件设备能力的提升也促进了边缘计算的普及,这使得联邦学习的分布式架构能够灵活地应用于网络中。然而,尽管这项技术能够协调大量的用户在其设备上完成训练任务。但联邦学习要求服务器
深入理解图像的语义信息是计算视觉领域发展的关键,然而在视觉任务中,高级语义信息的获得并不容易,这导致视觉场景图的生成成为一项极具挑战性的任务。视觉场景图生成能帮助本文获得更高阶的语义信息,它作为桥梁连接了物体检测和场景理解,在物体检测的基础上,对物体之间的关系进行建模识别,并使用“主语-谓词-宾语”这样的三元组结构表征物体间的有效关系,最终通过连接这些三元组构成一幅有向的视觉场景图。尽管以往的工作
传统的图像分类任务在很大程度上取决于大规模的数据集,该数据集可为所有类别提供经过标记的样本。但是,在现实世界中,图像的类别遵循长尾分布,其中大多数类别很少出现,因此很难为这些类别收集大量标记的样本。另一个挑战是新定义类别的爆炸式增长,为这些新类别找到足够多的范例是非常困难的。近年来,为了解决这些类别的分类问题,零样本学习得到了广泛的研究。人类可以通过现有的知识动态地创建新的类,而不需要视觉数据。例
随着基于深度学习的算法出现,各种计算机视觉应用都取得了令人瞩目的进步。但是,大量现有工作已经清楚地证明了深度神经网络(DNN)容易受到对抗样本的攻击。而对抗样本攻击就是在输入数据中添加细微的、人眼不易察觉的噪声,从而误导深度网络模型的预测。这些对抗攻击的存在有利于研究人员了解深度网络模型的脆弱性。目标攻击是指攻击方想要将模型预测结果改变为某些提前指定的目标类别中。而目标攻击又可以根据攻击者对于所攻
自2012年深度卷积神经网络在分类任务上的成功以来,计算机视觉领域便迎来了蓬勃的发展。但是,随着研究的深入,计算机在关于视觉单一模态的众多任务中均已超过人类认知的能力。考虑到未来人机交互,联合传统计算机视觉和自然语言的一系列基本挑战逐渐受到研究者们的关注。在计算机视觉三大任务之一的目标检测的基础下,基于语言描述的目标检测在2014年被提出。基于语言描述的目标检测旨在通过物体的自然语言描述在对应图像
生成对抗网络依靠其非监督的学习方式和强大的生成能力,自2014年提出以来就受到了人们的重点关注。GAN在不断提出新模型的同时也遇到了许多新的问题,其中远距离依赖关系拟合能力差,图像全局特征不一致及因此导致的生成图片质量差等问题不断出现,限制了GAN的进一步应用。本文围绕基于通道特征学习的生成对抗网络图像生成方法展开研究,提出了一种有效利用通道特征提高生成图片质量的方法。通过跟踪国内外相关领域的最新
自2012年Google正式提出知识图谱概念以来,知识图谱已经在智能问答系统、推荐系统、垂直搜索服务、辅助决策系统等多个领域展现出丰富的实际应用价值,受到工业界和学术界的广泛关注。但目前知识图谱依旧面临着人工构建成本高、数据稀疏、信息不完善等缺陷,极大限制了知识图谱的应用能力。目前,如何对知识图谱进行高效的表示与推理依旧是研究工作的重点和难点。本论文针对现有研究方法对知识图谱图结构信息利用效率低、
数据集成是信息检索领域的一个关键性任务。其中,实体统一任务是数据集成的一个关键步骤,也称为实体匹配或重复记录检测。实体统一任务指的是,在不同来源的数据中,找出指向同一现实世界中的实体的数据记录。早期的研究主要是基于字符串距离的算法。这种无监督的方法缺乏有效性和泛化性,因为预定义的匹配阈值通常随着数据集的变化而变化,需要人工为不同的数据集设定阈值,缺乏泛化性。另一条研究分支是基于众包的实体统一算法。
随着大数据时代的到来,指数级增长的数据量使得人们淹没在数据文海之中,如何能在浩如烟海的文本之中提炼所需要的信息变得格外重要。自动文本摘要是指利用概率统计、机器学习、深度学习、神经网络等,从文本中提取主旨信息,挖掘关键信息,将文本的主要信息凝缩成简洁表示的摘要。目前在新闻标题生成、文本检索、知识问答等方面得到广泛应用。序列到序列模型是自然语言处理中用途最广泛的模型,一般由编码器和解码器两大部分构成。
近些年来,许多高维数据在不同的领域中产生。这些高维数据不易用传统方法处理,但迫切需要从这些数据中分析潜在的信息和模式。但是现在的机器学习模型更多地采用矩阵形式,这样会使得我们处理数据需要对数据特征进行向量化处理。对于多元之间的的信息融合和共享,采用矩阵运算表示会很复杂,而张量多线性表示其本身是更加自然的描述。描述张量多线性操作的图示,即张量网络由于其表达的便捷性,现在越来越流行。因为很多低秩的张量