基于强化学习空间机械臂智能捕获控制策略研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:coral623
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社会的发展对航天器的需求日益增加,在轨运行的航天器数目越来越多,在轨服务技术将充分展现其战略军事价值和显著民用经济效益。捕获空间目标是空间机械臂在执行各种在轨服务任务中至关重要的环节,然而空间机械臂系统动力学特性复杂,难以建立精确的动力学模型,导致控制系统难以实现较好的控制效果。目前,随着人工智能技术的不断发展,依靠数据驱动的智能控制算法相继被提出,具有无需对系统进行数学建模的特点。因此,本文将强化学习方法应用在空间机械臂捕获过程控制中,分别提出深度强化学习捕获控制方法和基于模型强化学习控制方法。论文完成的主要工作及获得的结论如下:首先,建立了空间机械臂的虚拟仿真环境。以空间机械臂捕获漂浮目标作为研究任务,在V-rep仿真平台中建立空间机械臂仿真环境,用于强化学习训练以及进行动力学仿真分析;并设计一种传统捕获控制方法,并进行仿真分析,用于与基于强化学习捕获控制方法进行比较;然后,提出深度强化学习捕获控制方法。采用“预训练”思想并基于深度确定性策略方法设计捕获控制方法,在仿真环境中训练实现了对空间目标的捕获任务;同时与无“预训练”环节的捕获控制方法比较,“预训练”表现出在训练阶段能够大幅度提高样本学习效率;最后,提出基于模型强化学习捕获控制方法。针对深度强化学习样本学习效率低的问题,提出以PILCO算法为主要框架的捕获控制方法,通过少数回合训练即可得到捕获控制策略;并将基于强化学习捕获控制方法与传统捕获控制方法进行比较分析,论证基于强化学习在空间机械臂捕获过程中应用的可行性。结果表明,基于强化学习捕获控制方法在虚拟仿真环境中能够实现捕获空间目标的任务,捕获过程耗用时间明显优于传统捕获控制方法,然而在捕获过程中,控制力矩平滑性和捕获位置精度均无法到达传统捕获方法的水平。基于模型强化学习捕获控制方法训练效率要明显优于深度强化学习,很少的学习回合次数即可完成训练过程,控制效果表现出与深度强化学习捕获控制方法水平相当,因此,基于模型强化学习捕获控制方法,在空间机械臂捕获过程中应用中具有很大的应用潜力。
其他文献
新课改已经实施好多年了,这是广大语文教师的期盼,更是广大学生的福音。但在新课改实施的过程中又出现了不少新的问题,其实新课改不是对传统教学的批判和否定,新课程的新,是
近年来,民用航班量迎来了前所未有的扩张性增长,与此同时,航班不正常也成为社会关注的焦点。在航班不正常情况下,由于服务失误补救满足不了旅客的客观需求,引发旅客情绪激动行为过激,成为民航业健康发展的绊脚石。因此,着手对民航机场不正常航班的服务失误补救策略研究是非常必要的。本研究在考察国内外服务补救相关研究成果的基础上,通过对J机场航班不正常概况、航班不正常处置组织建立和服务失误补救流程等现状进行分析,
科技型中小企业在成长中大多仅注重技术创新,却忽视了商业模式创新这一关键因素,并且现有的商业模式创新研究主要基于互联网企业。结合科技型中小企业的自身特点,从内外两方
使用水煮和微波两种热处理方法以及不同护色剂对蒜泥产品保鲜效果进行研究。结果表明以水煮85%/2min热处理后,添加0.04%L-半胱氨酸、0.1%Vc和0.2%柠檬酸三种护色刺协同作用对蒜泥产品
《阿凡达》作为一部以影像技术为主导的电影,其主要成就却并不在于此,而是传达了现代技术理性与生态美学之间的冲突,是一部关于赛博空间隐喻的电影。文章分析了现代"巨机器"所
全球重要农业文化遗产因凝聚人类生存智慧在全球范围内得到认可,如今却面临传统农耕模式、生产方式和精神文化失传的困境与危机,保护与传承迫在眉睫。我们可以从三个维度对农
旅游业快速发展的同时亦带来了诸多法律问题,引发一系列旅游纠纷。而旅游者作为旅游法律关系中重要的主体,亦是旅游业赖以生存和发展的重要因素,其权利获得保护的程度直接影响我国旅游业的健康稳定发展。因此,如何更好地保护旅游者权利,是现实生活中急需加强研究的问题。2013年《旅游法》的出台,为解决旅游纠纷中旅游者权利受到侵害的问题提供了更具旅游特色的法律依据。本文通过对我国旅游法关于旅游者权利的保护进行研究
目的:观察凯时、弥可保、葛根素三联治疗糖尿病周围神经病变的临床疗效.方法:选取50例糖尿病周围神经病变患者,随机分为两组,观察组及对照组各25例,两组均给予常规治疗,观察
当今国际经济环境下,投资者不仅关注公司的业绩评价,更关注公司的治理状况,内部审计已将公司治理纳入其重要的实践范围。本文在阐述内部审计与公司治理关系的基础上,对内部审计参
《南京青年篆刻作品集》如同头胎婴儿呱呱问世了。主编者邀我写篇小文,道个贺。说真的,我怕写这类文字。知人论世,评字品印,谈何容易。一是我离开印坛二十年了,怕说老话。二
期刊