基于深度强化学习的机器人多任务策略迭代模型研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:xy3594830691
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着工业4.0标准的推进和深度学习、大数据等技术的发展,机器人正逐步走向智能化。机器人在现实生活中的应用十分广泛,除了在工业应用中帮助人类更高效地完成工作以外,还可以在日常生活中代替人类完成各种工作任务。而机器人能像人一样完成各种复杂的工作,依靠的不仅仅是外部的硬件设备,更重要的是机器人的决策系统,机器人的自主决策能力和策略迭代优化是实现智能机器人决策系统的关键。目前智能机器人的应用领域涉及军事、工业、医疗、家庭服务等多个行业。因此研究机器人的任务策略迭代模型具有重要的现实意义。本文讨论的机器人自主决策模型主要是采用深度强化学习的方式进行训练。在该方式下机器人与所处的执行任务空间经过多个回合的交互,强化成功的经验,最终学习出完成任务的最优策略。环境空间就是当前机器人执行任务空间。由于目前机器人与现实执行任务空间进行交互时存在采样效率过低等问题,因此往往需要建立模拟环境,让机器人与模拟环境进行交互,但是模拟环境内进行交互训练得到的最优策略并不能直接应用到现实环境中,严重阻碍了基于深度强化学习的决策模型的落地应用,而且目前的机器人难以实现多个任务策略的持续迭代学习,以应对多任务的决策问题。针对以上难题,本文提出一种机器人任务策略迭代模型,具体的研究工作概括如下:1.针对机器人自主决策模型的优化方法,调研与分析目前国内外的研究现状,并探究了深度强化学习与策略迁移的相关理论与主流的强化学习算法。2.针对目前机器人在模拟环境中训练得出的策略模型难以迁移到现实环境中使用的问题,提出一种基于渐进式神经网络的机器人策略迁移方法。该方法对常规的基于多层感知机建立的渐进式神经网络进行改进,采用基于LSTM的网络结构建立深度强化学习的策略模型,提高策略模型在行为克隆和强化学习中对数据特征的提取能力,同时针对强化学习样本效率低的问题,提出一种基于聚类经验池(cluster experience pool,CEP)的优化算法,提高强化学习经验单元的样本利用效率,使强化学习的成功经验样本效率更高,并利用渐进式神经网络的结构优点,实现把模拟环境训练的策略模型向现实环境的迁移。最后进行了与基准模型的比较实验和结果分析。3.渐进式神经网络进行多任务学习时候,模型会随着任务增多而变得越来越臃肿,并且多任务学习也会导致知识负迁移。针对问题,本文结合了模型剪枝和注意力单元的方法,对基于渐进式神经网络的机器人多任务学习框架进行了改进,并将剪枝后的模型与目前主流的多任务学习模型进行了对比实验和分析。最后,对本课题研究的内容进行总结和分析,归纳总结本文的主要工作和不足之处,并对未来的研究方向进行展望。
其他文献
实体关系抽取作为自然语言抽取领域的重要子任务,在知识图谱、搜索引擎以及智能问答等下游任务中发挥着重要的作用,根据命名实体识别和关系抽取两个子任务是否相互独立,分为流水线式抽取和联合式抽取两种方法。近年来基于预训练语言模型的联合式实体关系抽取方法取得了不错的研究进展,但仍然会出现实体重叠、关系重叠以及实体冗余等问题,同时在进行关系抽取时没有充分利用实体本身蕴含的重要信息。特别是中文实体关系抽取,由于
学位
离散事件系统(DES)是由一系列状态和事件组成的动态数学模型。随着通信和传感技术的快速发展,现代工业系统规模越来越大,系统在运行时难免会出现故障。为保证系统可靠性,控制工程师应设计一个能在正常范围内安全运行的系统,并在系统故障发生前,尽可能预测出即将发生的故障,以采取相应措施,对故障进行规避。因此,对DES发生故障前的预测问题的研究具有重要价值。随着计算机领域的快速发展,计算机集群式的算力得到大幅
学位
导数计算是包括机器学习在内的多个领域的重要需求,针对这一需求,目前存在多种不同的微分方法和实现手段。其中,基于源代码转换的自动微分由于其高效性以及适用性强的特点被广泛使用,但其实现难度较大。基于操作符重载的自动微分会导致微分的时间开销过高。基于此,本文聚焦于自动微分的实现及优化,通过追踪以及符号微分等方法与源代码转换相结合,以达到自动微分的简洁与高效实现。本文主要的研究成果包括:(1)提出了一种以
学位
特征选择就是从给定的特征集合中选出相关特征子集合以减少数据的维度。在分类任务中,特征选择不仅能够减少计算开销也能够提高分类准确率。进化算法和群体智能算法具有高鲁棒性和全局优化等优点,被广泛应用在特征选择中。在特征选择的实际应用中,不仅需要高分类率也需要较低的计算成本。基于这两个优化目标,现有的进化算法和群体智能算法大多对特征选择问题进行多目标优化,以及部分单峰优化的研究。其实,特征选择具有潜在的多
学位
根据ACE2005评测会议的定义,事件是主体状态变化或者主体间相互作用的一种客观表现,而事件抽取是从非结构化文本获取预定义类型事件的关键技术.在这些文本中,有一部分对事件发生与否作出了主观推测,且对应事件的发生时间常在未来而非过去,对此本文以未来事件进行定义.从实际应用上看,实现未来事件抽取可为未来事件图谱构建,信息检索及知识推理等后续任务提供结构化数据,同时还可以给当下决策提供参考依据.因为是对
学位
人类的生长发育等一切性状受基因和环境共同影响,其中基因广泛参与生命过程中各项生理机能的调控,对生物性状起决定性作用。甲基化作为一种常见的基因表观遗传修饰在许多生物过程与许多重大疾病的发生发展密切相关,DNA-N6甲基腺嘌呤(6-m A)表观遗传修饰是重要的表观遗传修饰标记之一。异常的6-m A位点会影响基因表达,从而引发多种重大疾病,因此预测6-m A位点对理解治病机理和治疗疾病有重要意义。基于此
学位
视频暴力行为检测任务隶属于行为识别领域,它指的是对视频序列中存在的暴力行为进行检测,传统检测方法的效率和准确率都不高,无法满足应用需求。随着深度学习技术的快速发展,基于深度学习的检测方法与传统方法相比在准确率上有了很大的提高,因此基于深度学习的暴力行为检测方法近年来得到了一定程度上的发展。虽然基于深度学习的检测模型准确率很高,但其效率仍然较低,不能应用于实时暴力行为检测场景。基于深度学习的检测模型
学位
人脸年龄合成包括人脸的老化和逆龄化,其目标是基于输入的人脸图像对指定年龄阶段的面部形态进行预测。该技术具有重要的应用价值和广阔的发展空间,一直是计算机视觉领域的研究热点。近些年,在深度学习理论的推动下,人脸年龄合成技术取得了突破性进展。但由于人脸的老化现象较为复杂且受到多种因素影响,现有算法难以兼顾人脸图像的面部轮廓和纹理变化,且无法细粒度建模人脸的连续老化现象。此外,随着人脸年龄合成要求的不断提
学位
随着大数据时代变革的逐步推进,也因为在需要对对象进行多种不同视角特征的描述上更具有优越性,多视角聚类分析法获得了更多的研究重视。相比于简单连接所有视角特征的单视角聚类,能够分别处理每个视角特征的多视角聚类可以联合优化每个视角,从而能尽可能地利用每个视角特征提高最终的聚类效能。多个视角的数据特征内包含着丰富且互补的信息,联合优化多个视角的数据特征能够更好地去探究数据的内在结构关系。如何能够更好地结合
学位
人脸年龄评估是预测图像中人脸的年龄信息,是一种极具发展潜力的生物特征识别技术,对建设智慧与安全城市具有重大的意义,在人机交互、视频监控和市场分析等领域都得到了广泛的应用。随着深度学习技术的发展,越来越多的研究人员将深度学习技术应用于人脸年龄评估。然而,多数基于深度学习的模型直接从人脸样本中学习单一的年龄特征用于年龄评估,导致学习到的年龄特征鲁棒性不强、易受性别、种族、环境、光照和姿势变化影响。此外
学位