基于强化学习的多足机器人运动控制仿真与实物验证研究

来源 :北京化工大学 | 被引量 : 0次 | 上传用户:liongliong505
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着机器人技术的迅速发展,机器人已经开始广泛应用在人们生产生活中。足式机器人具有灵活性高、适应性强等特点,广泛应用于野外探索、补给运输、灾害救援等方面。与双足、四足机器人相比,多足机器人腿部自由度更高、重心更加稳定,具有更为出色的运动灵活性和载荷能力。多足机器人已经成为足式机器人领域中的一个研究热点。传统的多足机器人控制方法一般会采用节律控制器,但是节律控制器设计难度较大,需要多足机器人的精准模型。然而,多足机器人内部耦合情况多,机械结构和控制系统复杂,难以建立多足机器人精准模型。基于数据驱动的强化学习能够进行自主学习优化,不需要精准模型,可以实现多足机器人最优的控制效果,有效解决多足机器人步态设计的难点。本文以两种多足机器人为研究对象,基于强化学习理论,对多足机器人的运动控制展开研究,具体研究内容如下:1、针对算法训练耗时长、数据采集慢、多足机器人移动能力未达到理想状态等问题,引入了提前终止机制,设计了提前终止条件,对深度确定性策略梯度算法进行了改进。2、基于改进的强化学习算法,针对两种多足机器人的运动特性,分析并设计了动作空间和状态空间;针对两种多足机器人的运动目标和不同地形环境,设计了适应于多种不同地形环境的步态奖励函数,用于探索最优步态,完成整个控制策略的设计。3、在仿真软件V-REP中,搭建了两种多足机器人仿真模型,设计了多种不同的地形环境,采用改进的强化学习方法,通过训练的方式生成了适应多种不同地形的多足机器人步态。4、针对仿真到现实的差距导致运动控制策略迁移难的问题,通过提高多足机器人的模型精度以及仿真刷新精度、提高运动控制策略鲁棒性等方法,成功将仿真中生成的多足机器人运动控制策略迁移至实际机器人。
其他文献
拉曼光镊(Laser tweezers Raman spectroscopy,LTRS)是一种单细胞特性检测技术,它继承了光学镊子能够在液相环境中对透明微粒进行无损操控的能力以及拉曼光谱强大的检测分析能力。利用该技术可以实现在生理环境下对单个细胞的俘获与操控,同时完成对细胞分子化学结构的检测。在当前世界疫情严峻形势的大背景下,检验检疫是进行国际间贸易的必要环节,而血液的鉴别又是检验检疫流程中的重要
学位
双足机器人相比于其他的移动机器人,其适应性和灵活性更强,在复杂的地面环境更容易实现稳定行走。对双足机器人的研究有助于探索人类行走的规律,为康复医疗器械和高危作业等方面的研究提供理论基础。Geyer所提出的双足弹簧负载倒立摆(Spring-Loaded Inverted Pendulum,SLIP)模型,相比于传统的刚性腿双足机器人模型,更能体现人类行走的主要特征,具有更低的能耗,和更加自然的行走步
学位
人体动作识别在视频信息检索、公共视频监控、人机交互、科学认知等方面有着重要的应用价值,是计算机视觉、模式识别和机器学习等众多学科的交叉研究领域。在机器学习领域中,通常的建模方法建立的模型有生成式模型和判别式模型。对于以时间序列数据表示的人体动作,本文的研究聚焦于可解释性较好的生成式模型中用于处理时间序列的隐马尔科夫模型。由于人体动作识别的性能依赖于动作的表示方式,针对传统隐马尔科夫模型简单地以离散
学位
在轻薄型毛精纺面料的经纬向按一定规律间隔排列水溶性维纶纱,并进行交织,经后整理退维溶解,在面料表面获得规律排列的孔洞效应。阐述了产品技术规格及生产工艺流程,对经纬纱支、维纶纱的水溶温度与间隔根数、织物密度和紧度、后整理退维点选择等进行了优化设计,对主要工序的工艺参数与技术要点进行了说明。测试结果表明,成品各项指标符合产品标准与设计要求。面料孔洞清晰圆整、排列平直,成品呢面整洁、手感滑糯、轻柔飘逸。
期刊
无人车在车速较高和行驶环境较为复杂情况下对车辆的路径规划、决策以及控制的实时性要求较高。本文针对如何保证无人驾驶汽车在高速、紧急以及路面附着较差的工况下能够成功完成对突发障碍物安全稳定的规避和对目标路径的准确跟踪,同时还能够确保车辆的稳定性这一目前国内外的难题开展研究,论文的主要研究工作和创新性如下:提出了一种基于五次多项式的全局路径规划与一种基于点质量法的局部路径规划算法相结合的方法。基于五次多
学位
信息中心网络(Information-Centric Networking,ICN)成为未来网络发展的趋势,支持无处不在的缓存特性。网络切片作为新一代网络的关键技术,能够实现基于ICN服务的架构。但ICN切片在缓存资源的使用及部署等方面仍存在诸多问题,例如:缓存资源浪费问题、缓存节点存在空载开销问题等。因此,本文深入研究ICN切片,并使用博弈论方法进一步优化ICN切片的缓存资源分配和动态部署方案。
学位
极化SAR具有全天时、全天候和可穿透植被等特点,同时又具有较高的分辨率,因此在土壤湿度反演方面可以发挥重要作用。但是由于地面信息较为复杂,特别是土壤粗糙度和植被的影响较为严重,因此现有的模型都不能较好的建模土壤湿度与极化SAR数据之间复杂的表征关系,同时极化散射机理与定量化参数之间物理关系也没有得到深入的研究。充分挖掘极化SAR数据现有特征与量化参数之间的物理联系并且将深度学习技术与传统反演模型相
学位
故障监测是轨道交通系统中的一个热门问题,对乘客的乘车安全有着重要意义。而地铁作为城市轨道交通的重要组成部分,为了保障其运行安全,对设备工况进行实时监测是十分必要的。目前列车故障的在线监测手段主要是基于振动信息、温度信息、视频图像信息的设备状态监测。本文借鉴地铁工作人员利用听诊法去识别设备故障的方式,以声音作为研究对象,提出了基于声学特征融合和声源定位的方法实时监测地铁行驶过程中底架设备的工作状态。
学位
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种高分辨率微波成像系统,具有不受光照、云雾影响成像的优势,在地球观测各领域发挥了越来越重要的作用。SAR辐射定标是建立载荷量测数字量化值与对应目标后向散射系数的关系,对SAR定量化应用具有重要意义。目前SAR辐射定标多以人工定标器作为标准参考目标,而其运输、安装、维护困难,难以满足常态化SAR定标需求。自然界广泛存在的稳定
学位
通过对麻昭高速公路顺层岩质边坡现场地质条件的详细调查及勘探,对边坡的岩体结构类型进行划分,研究滑坡的成因机制。滑坡体沿着页岩风化界面滑动,页岩具强度较低,透水性差,灵敏度高,遇水易软化成软土同时强度降低,失水收缩开裂等特性,边坡稳定性受降雨、地震及开挖影响较大,研究表明,边坡目前处于蠕动滑移阶段。在此基础上建立地质结构模型,采用极限平衡法对典型断面进行稳定性分析,基于计算分析,结合保护对象采取合理
期刊