基于强化学习的张拉整体机器人运动控制研究

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:annhongmay
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
张拉整体结构是由一组离散受压构件包含于连续的受拉构件而组成的稳定自平衡系统。张拉整体结构最初兴起在雕塑领域,后因为其造型新颖,构思奇特,质量轻并具备一定的刚度在许多大跨度的结构工程中被采用。近年来因其高强度质量比、可分散内力、低成本的特性,成为机器人研究中比较活跃的一个领域。球形张拉整体机器人被用作太空探索机器人而展开研究。然而,由于其非常规的结构以及高耦合动力学,张拉整体结构的高效运动控制问题仍然是项难题。使用传统的控制算法难以实现有效的运动控制。深度强化学习算法由于其强大的感知和决策能力,已被用于许多机器人任务。然而,其通常需要收集大量的样本,这限制了它的应用。基于模型的算法可以用较少的样本学习,但由于模型误差累积而具有次优结果。本文以球形张拉整体机器人为主要研究对象,首先对其建立动力学模型,提出一种将无模型强化学习与有模型强化学习混合的算法,来实现对张拉整体机器人的高效运动控制,最后结合人工势场法实现不同障碍情况下的避障控制。具体研究工作如下:首先基于位置坐标有限元方法,定义了张拉整体结构中杆单元及绳索单元,推导了结构受到的广义力以及其切线刚度矩阵和切线阻尼矩阵具体形式,根据动能表达式得到质量矩阵,然后依据拉格朗日运动方程得到系统的动力学方程。随后介绍了非线性微分方程的数值求解方法。采用Newmark方法对动力学方程进行数值求解。在数值算例中采用动力松弛法完成对张拉整体机器人的找形分析。对比了本文的动力学仿真与商用物理引擎MUJOCO结果。之后,针对张拉整体机器人滚动控制问题设计了密集型的奖励函数,基于深度确定性策略梯度(DDPG)算法提出了改进方法。具体时限为通过随机采样的数据建立神经网络动力学模型,采用模型预测控制得到初步的控制效果。利用受控轨迹来初始化DDPG的参数和记忆库,通过训练DDPG算法参数,得到高性能的控制策略。试验证明了混合算法的采样效率远优于DDPG算法。以不同的地面条件的控制效果证明了算法的高效控制能力。最后针对避障问题提出了将人工势场法与DDPG结合的避障算法。分析对比了人工势场法采取不同探索步长下强化学习算法对张拉整体机器人的控制结果,得到了适应不同障碍情况的避障策略。
其他文献
惯容器作为一种双端质量元件,其在运动系统中可以提供远大于自身质量的“虚拟质量”;机电惯容器作为一种新型惯容器,与传统机械惯容器相比,具有惯质/质量比大、结构简单、利于小型化等优点,因而在土木结构振动控制、车辆运行稳定控制等领域具有广阔的应用前景。本文利用转矩分解方法,进一步阐明“机电惯容器”的作用机理,并提出工程应用中最大“允许惯质”的理论计算方法;进而给出了一种永磁同步电机式机电惯容器的新方案。
我国交通运输行业自改革开放以来得到了迅速发展,公路桥梁建设取得了很大成就,但与此同时,由于服役时间过久、车辆超载等问题导致许多隐患,预应力碳纤维(C arbon Fiber Reinforced Plastics,CFRP)板加固技术由于其易于施工、加固效果好等优点被广泛应用于桥梁结构加固补强中。本文以预应力CFRP板加固钢筋混凝土梁为研究对象,建立其有限元模型,探究预应力水平、加固前持荷水平等因
剪力墙是高层建筑中重要的抗侧力结构构件,装配式剪力墙更是得到了众多学者的关注与研究。随着装配式结构在中国的快速发展,装配式剪力墙结构性能的安全监测需要得到更多的重视。预应力装配式摇摆剪力墙是一种新型装配式剪力墙,有着良好的抗震耗能与自复位能力,其在往复加载过程中的损伤机理需要进行更多的研究。声发射监测技术是一种能够实时监测结构信息的无损检测方法,通过应力波分析结构的损伤信息。本文使用声发射技术监测
碳纤维增强复合材料(CFRP)作为筋材可以充分发挥其抗拉能力,但其作为各向异性材料无法直接使用锚固钢筋的锚具,需要设计适用于CFRP筋的锚具。CFRP筋粘结型锚具可以保护筋材表面但仍存在锚固区筋材应力集中的现象,针对这一问题仍需对粘结型锚具进行进一步的改进。另一方面,CFRP筋粘结型锚具由锚杯包裹,难以观察内部损伤情况,了解其损伤机理,同时粘结型锚具存在多种破坏模式,且锚具的破坏于瞬间发生难以预测
土木工程结构振动控制是提高结构抗震性能的有效手段,基于被动控制的黏弹性阻尼器是一种高效的耗能减震元件,被广泛应用于建筑物的抗震设计和加固改造中,其工作原理是通过黏弹性材料的剪切变形,耗散外荷载输入到结构中的能量,达到保障结构安全性的目的。建筑结构的梁柱节点是核心部位也是薄弱环节,在外荷载作用下易遭到破坏,从而威胁结构的整体稳定性。然而在外荷载作用下,梁柱节点处产生的转角变形一般较小,传统的节点阻尼
随着结构抗震研究的不断深入,兼顾结构安全与震后运营功能的抗震设计理念日益受到工程界的关注。于此同时,大量具有赘余构件或分灾元件的多重抗侧力结构体系也不断涌现,此类结构具有多道抗震防线,地震作用下结构抗震防线渐次损伤破坏,消耗地震能量,可有效降低结构的损伤,避免结构倒塌,因而在实际工程已经得到广泛的运用。如何引导多重抗侧力结构多道抗震防线在地震作用下的损伤次序和程度,建立适用于多重抗侧力结构的抗震设
研究框架结构的倒塌性能时,由于填充墙的复杂性以及不确定性,学者们在分析时通常将填充墙框架简化成纯框架,然后通过采用周期折减的方法粗略地考虑填充墙对结构的贡献,但是这种方法不能准确反映实际结构的性能。目前,一些学者对填充墙框架的倒塌性能开展了研究,主要针对钢筋混凝土框架,而对钢框架的研究较少,且很少考虑填充墙竖向布置不均匀对框架倒塌性能的影响。本文结合简化的双向斜压杆的有效宽度计算公式在SAP200
延性中心支撑框架是在高烈度设防地震地区常用的一种双重抗侧结构体系,具有较好的强度、刚度和延性。延性中心支撑框架中的节点板负责连接支撑构件与梁柱框架,其容易出现与梁柱框架连接界面的脆性破坏,从而导致支撑框架强度与刚度降低,支撑也无法通过屈服或屈曲行为进行耗能,结构在地震作用下的倒塌概率增加。为满足延性中心支撑框架对节点板连接界面的受力需求,本文通过理论分析与有限元相结合的分析手段,对延性中心支撑框架
《碣石调·幽兰第五》的原本问题为笔者同吴文光、戴微争鸣多年而未获结论的难题。最近,笔者运用http://www.emuseum.ip/cqi?SvoID=3&ID=wcq7&subid=s000网站,发现了东京国立博物馆所藏《幽兰》卷纸本的原件,是为东京本之二。这次网上考古的发现证实了东京国立博物馆的确有两份《碣石调·幽兰第五》:即东京本之一和东京本之二,后者为原本。本文探讨《幽兰》版本列表、对日