无人机在军事和民用领域应用日益广泛,人们可借助无人机在复杂恶劣的环境中完成搜索和救援,运输与建筑等工作任务。无论在军事还是民用中,无人机运输都有着重要的作用。利用悬绳的搬运方式更具运输效率,成为无人机运输方向的一个崭新的研究课题。基于这样的研究背景,本课题选择使用绳索来连接重物与无人机,使无人机在保持其敏捷性的前提下,同时完成以最小摆动达到目标位置的搬运任务。无人机悬绳搬运研究领域中,现阶段常用的轨迹规划算法及控制策略,如LQR、非线性控制和最优控制等,很大程度上依赖系统模型建立的准确性。而无人机-悬挂负载为高度非线性欠驱动系统,想要建立精确的模型非常困难,简化的系统模型会大大减弱控制效果。针对以上问题,本文提出了基于强化学习的轨迹规划算法及控制策略,其对模型精确程度依赖性较小。首先,本文建立了无人机-悬挂负载系统的运动学模型及动力学模型,这两个模型将分别应用到轨迹规划器及跟踪控制器的设计中。其次,为了实现无人机利用悬绳快速且平稳地完成搬运任务,需规划出合理的搬运轨迹,相对于最优控制等较常用的轨迹规划方法,强化学习算法对系统模型依赖性小、鲁棒性好,更适合本课题的研究对象。本文采用基于近似价值函数迭代的强化学习算法来设计轨迹规划器,利用特征向量估计价值函数。为节约训练时间,在学习阶段通过下采样进行训练,再将推出的贪婪策略用于整个样本空间,生成了一系列轨迹。本文通过大量的仿真实验证明了强化学习算法在实际应用中的收敛性、鲁棒性及有效性。最后,对于无人机-悬挂负载轨迹跟踪控制问题,本文利用系统数学模型,设计出多闭环PID控制器,包括无人机-悬挂负载位置控制环、悬挂负载姿态控制环及无人机姿态控制环三部分,使系统同时跟踪无人机和负载的运动轨迹,该方法可以很好地控制负载摆动,保持系统稳定性及搬运快速性。为验证所提出的算法,本文在ROS中搭建了系统仿真平台,利用该平台对所提出算法的有效性及鲁棒性进行了验证。本论文是对无人机悬绳搬运这一新方向的探索与研究,将强化学习算法应用于轨迹规划中,并将负载的位姿信息用于轨迹跟踪控制器的设计中,对于该方向的其他研究人员是重要的参考,对于我国无人机运输的应用研究有较大意义。