【摘 要】
:
导航是智能体适应周围环境,与环境交互的基础且关键技术,是智能体执行其它更高级行为的前提。基于深度强化学习的导航是端到端的方法,可以直接利用环境的视觉图像中推断出导航策略。同时,它可以作为基于人工智导航方法的基础,并且很容易与其它人工智能任务相集成,执行更高级的任务。因此,越来越多的研究者投入到基于深度强化学习的视觉导航研究中。虽然深度强化学习已经在许多领域取得了重要
论文部分内容阅读
导航是智能体适应周围环境,与环境交互的基础且关键技术,是智能体执行其它更高级行为的前提。基于深度强化学习的导航是端到端的方法,可以直接利用环境的视觉图像中推断出导航策略。同时,它可以作为基于人工智导航方法的基础,并且很容易与其它人工智能任务相集成,执行更高级的任务。因此,越来越多的研究者投入到基于深度强化学习的视觉导航研究中。虽然深度强化学习已经在许多领域取得了重要的研究成果,但面对复杂环境下的导航任务,尤其是部分可观测或奖励稀疏的环境时,仍存在一些关键问题亟待解决。本文解决致力于解决的问题包括:在稀疏奖励的环境中,如何解决分层强化学习导航训练过程的不稳定性问题,同时稠密化内部奖励,提升智能体的学习效率;如何让智能体具有记忆能力,增强其在部分可观测环境中的导航能力;借鉴人类学习方式,如何将导航的先验知识传授给智能体,提高其学习速度和可迁移性;针对目前还没有适用于建筑装修机器人的导航训练环境的现状,如何设计该环境以保证智能体能在装修场景中正确地学会导航。针对上述四个问题,本文开展了相关研究。本文的主要工作及贡献如下:(1)为了解决分层强化学习导航算法的训练不稳定性问题,提出了基于连续子目标的分层强化学习导航算法。首先,将深度确定性策略梯度和近端策略优化分别作为高层和低层智能体,保证分层强行学习在训练过程中产生稳定的经验数据。然后,设计了一个新的内部奖励函数,使得智能体既考虑子目标,又考虑高奖励目标,实现内部奖励的稠密化。实验结果表明,分层策略可以让智能体在外界奖励稀疏的情况下实现有效导航;尤其是在复杂且大范围的环境下,基于连续子目标的分层强化学习导航算法的优势更明显。(2)为了让导航智能体具有记忆能力,提出了记忆增强型情景值网络的强化学习导航算法。首先通过情景记忆模块将智能体相关的行为值函数相关联,使其输出相似状态的行为值函数的加权和,来提高智能体在部分可观测环境中的导航性能。同时引入了一个内嵌的网络结构,保证整个神经网络可微分,以使用误差反向传播进行训练。实验结果表明,相对于没有情景记忆功能的智能体,基于记忆增强型情景值网络的智能体在相同部分可观测环境中能取得更好的导航效果。(3)为了将导航的先验知识传授给智能体,提出了基于导师机制的深度强化学习视觉导航方法。首先,根据全概率公式,建立一个由导师指导的决策过程模型,并应用策略梯度公式构造损失函数。然后,设计导师-学生神经网络结构,导师模块为学生模块提供有效的辅助导航信息以便其执行有效的导航决策。实验结果表明,导师模块提供的辅助导航信息加速了智能体学习导航的速度,并让其获得更高的累积奖励;更重要的是,基于导师机制的深度强化学习视觉导航模型能够泛化到新的和未见过的环境。(4)为了解决建筑装修机器人的导航训练环境缺失问题,构建了面向装修场景的深度强化学习导航环境。首先,分析对比常用的强化学习训练环境,选择合适的游戏引擎作为面向装修场景导航环境的基础。然后,根据真实装修场景的特点,结合现有的房屋平面设计图来构建导航环境。实验结果表明,面向装修场景的深度强化学习导航环境具有可用性,可以保证深度强化学习智能体正确地被训练。同时,我们公开了该训练环境,以推动基于深度强化学习的视觉导航的发展。
其他文献
冲压件品质基准书是车身开发SE阶段的主要输出物之一,是指导模检具设计、制造及冲压件检验的重要质量依据及标准。目前冲压件品质基准已在我公司新产品模检具开发中广泛应用,本文针对冲压件品质基准的设计方法和设计原则进行阐述并介绍其在我公司的应用情况。
情绪虽一直是西方心理学研究的热点,但多数研究只重视情绪的两极划分,佛教心理学独辟蹊径重点探讨具有双向性的特殊情绪类型——舍受。通过文献梳理,目前舍受定义未达成统一,有学者已意识到它的重要性并将它作为理想的幸福状态。鉴于此,本研究尝试对舍受这种特殊的情绪状态进行初步探讨。 研究分为三个部分:一是梳理西方心理学和佛教心理学有关舍受的文献,澄清舍受的概念,并整理培育舍受的训练,为下一步实证研究做准备。
目的:探讨中毒严重度评分(PSS)对遂宁地区蜂蜇伤患者严重程度的早期评估价值。分析蜂蜇伤患者死亡的危险因素,并建立量化预测模型。分析蜂蜇伤患者合并急性肾损伤(AKI)的危险因素,并建立量化预测模型。方法:回顾性分析2016年1月至2018年12月,遂宁市中心医院住院部收治的363例蜂蜇伤患者的人口统计学特征、临床和实验室检查资料。入院时分别以PSS和胡蜂蜇伤规范化诊
论文以神性的艺术诠释为主线,以敦煌和梵蒂冈艺术集群的作品为例,围绕其中的雕塑、壁画以及建筑装饰等在诠释神性中的异同进行了论述与论证。敦煌和梵蒂冈艺术既是东西方文明的精粹,也是佛教和基督教艺术的经典、本文以敦煌和梵蒂冈艺术作品为例,借助图像学、风格学等研究方法,对二者进行切实的比较研究。其中包含了对二者作品内容、艺术形式、艺术手法等方面的梳理分析,也涉及了创作主体、社
威尔第是享誉意大利以及世界的创作大师。歌剧《弄臣》无疑是其成功的代表作之一,本文通过对主人公吉尔达的音乐形象分析,逐步展示这部歌剧的戏剧和音乐之间的相互关系,通过对吉尔达的演唱形式的叙述,展示吉尔达的音乐形象以及戏剧形象在剧中的作用。同时,也以吉尔达的音乐形象塑造为起点,剖析威尔第笔下的女性咏叹调的艺术魅力。在吉尔达的音乐塑造中,对于不同情绪,场景,内心变化等多方面进行探究,来揣摩创作歌剧的方法以
中国动画产业尚处于起步阶段,动画专业人才稀缺,无法满足动画市场迅猛发展的迫切需要。为适应市场发展需要,国家进一步加大了对动画专业人才培养的扶持力度,目前不仅是全国大多数艺术院校都设置了动画专业,很多非艺术类院校,如传媒学院、师范学院、计算机学院也都纷纷加入这一队伍。但由于起步晚大部分高等院校动画教育还处在摸索阶段,动画课程体系不完善。另外大学教育从精英化教育走向大众化教育,高校扩招以后,学校招生的
1引言虽然近年来国内钢筋的总产量占钢材总产量的比例由2003年的25%下降到2007年的18%,但目前在高层建筑用钢中钢筋仍然占据着不可动摇的主体地位。目前我国钢筋产品分为4个强度等级:235MPa、335MPa、400MPa、500MPa.据统计,2006年我国钢筋产量中,HPB235为729万吨(8.3%);HRB335为5983万吨(68.1%);HRB400
私纪录片作为独立纪录片范畴中的一种特殊类型,近年来,越来越被纪录片界所关注。私纪录片创作者在真实观念上坚持主观介入拍摄,并在影片中呈现出明显的自我反射技巧;在纪录功能和观察视角上加入自己的私人体验和内心情感,试图展示一个隐秘而真实的自我。从观念到技巧都有别于传统纪录片,是一个新兴的、值得深入研究的纪录片类型。 本文试图从私纪录片的内涵特征、发展历程、纪录精神和现存困境这四个方面入手,重点分析促使
老年人照料设施是社会公共设施的重要组成部分,其中老年人全日照料设施是养老服务的重要组成部分。老年人全日照料设施是养老服务的最后一环,其合理的空间布局对养老资源供需均衡、提升设施服务水平具有至关重要的作用。绪论部分回顾了国内外老年人全日照料设施规划层面的研究历程,本文整理文献后发现已有研究虽然已经涉及定量研究与定性研究层面,但主要研究设施的整体空间分布特征,缺乏对各类养老机构空间分布特征深入细致的研
新区体制是在工业化进程中形成的,在突破相对固化的行政体制中,新区体制具有政府与市场共谋的特点;新城体制则是城市化进程中的城市建设与城市治理的要素综合,是政府与资本在城市扩张中新的结盟。当新区体制进入城市化阶段时,新区管委会逐步从政府派出机构演变为派出机关,并实现行政管理权力的扩张。从新区到新城的变化逻辑在于:新区启动了空间扩张,新城则主导了城市建设,新城管理的制度化