与传统的刚性机器人相比,气动驱动的柔性机器人具有重量轻、柔性好、生物相容性好等独特优势。然而气动驱动的软机器人具有一些固有的挑战,如容易破碎、自由度高、建模困难,难以使用传统的方法进行控制。因此本研究采用无模型的强化学习方法对软爬行机器人的控制进行了研究。本研究制作了一种气动蠕虫仿生软体机器人。该软机器人大小为厘米级,由真空脱气后的硅胶制成,主要由作为吸盘的头尾和身体部分的两组气囊组成,且对头部和尾部进行了染色。该软机器人通过负压吸盘抓地,采用气泵驱动其身体的拉伸与弯曲,实现了在平面和斜面上的自由移动。为了提升软机器人的移动速度与运动的准确性,本研究先在Pybullet仿真环境中训练软机器人的强化学习网络。将仿真模型迁移至真实软机器人控制时,通过固定摄像头获取软机器人状态照片,并采用YOLOv5作为图像识别模型获取其位置数据,最终实现了对真实软机器人的实时强化学习控制。本研究的结果显示:强化学习流程中,将软机器人之前的动作保存作为神经网络的短期记忆,与经验回放机制代表的长期记忆相对应,能够提升神经网络控制性能;训练得到的强化学习网络可以直接用于实际软机器人的控制,减少了网络训练的时间与物质成本,且软机器人能够自动修正误差,抗干扰和适应环境的能力大大提高;使用强化学习控制方式,软机器人在完成各种任务,如直行运动、转弯与移动到给定位置时表现均优于手动控制和使用给定指令串的控制方法。总之,本研究开发的软机器人制作方法及其强化学习模型可以推广到其他类型软机器人的制作与控制;在进一步改善和提升后,该软机器人可以应用于危险、狭窄和脆弱的环境,如生物医疗、地震搜救、管道探伤和考古发掘等。相比于类似功能的硬机器人,该软机器人的优点在于不容易对周围环境和人员造成伤害,且制作成本较低。