由于小型无人直升机能够垂直起降,飞行灵活多变,同时相比多旋翼具有更大的载重量,因此在军用和民用中发挥着越来越大的作用。但是由于其自身的非线性、强耦合性、以及隐藏状态多且不易测量的特点,使得对无人直升机的自主控制始终存在着巨大的困难和挑战,许多实际飞行任务仍需要人工操作控制。另一方面,由于无人机执行的任务和面临的周围环境越来越复杂,因此一个便捷而有效的避障与路径规划方法也变得至关重要。本文以无人直升机为主要研究对象,以具有较强自主学习能力的强化学习(Reinforcement learning,RL)方法为基础,结合深度学习方法,设计了无人机的自主导航策略、姿态控制策略以及高度控制策略。并通过实验进行验证。本文完成的主要研究工作如下。首先,本文采用强化学习中的Q学习法作为无人机自主导航控制的核心算法。但是传统的基于表格的Q学习方法面对实际飞行中产生的大量状态,易产生“维数灾难”的问题。因此,本文采用深度神经网络直接对环境图像进行处理得到状态变量,用神经网络代替表格模拟Q值,通过模拟无人机对象和环境的实时交互过程训练网络参数,进而实现了无人机能够沿最短路径在躲避障碍物的同时到达指定终点的任务。其次,为了有效补偿小型无人直升机姿态控制中模型不确定部分的影响,本文首先将直升机的动力学模型分为标称模型和建模不确定两部分。接着针对标称模型部分,设计了一种基于误差符号函数积分的鲁棒控制算法,减小了外界风扰的影响;针对建模不确定部分,设计了基于在线增强化学习的控制算法,对模型不确定性进行了补偿。并利用基于Lyapunov分析的方法,证明了无人机姿态控制误差的半全局渐近收敛。随后在无人直升机半实物实验平台上,进行了姿态控制的实时实验验证。实验结果表明,本文提出的控制方法取得较高的控制精度,同时在系统不确定性和扰动同时存在时具有良好的鲁棒性。最后,本文采用基于离线强化学习的方法为自主研制的微小型无人直升机设计了高度控制器。该方法利用先验的实际飞行数据建立局部加权线性回归模型,并基于该模型通过随机逼近的迭代方法不断优化代价函数,从而优化控制器的参数。同时利用概率方法证明了随机逼近策略的最优收敛性。将离线训练后得到的控制器参数带入无人直升机实际飞行中,对高度的控制误差明显低于手动调参的控制器,取得了良好的控制效果,同时也减小了参数调节的时间。