在对现代控制系统的分析研究中,最优控制问题备受关注。一方面,保证被控系统的闭环稳定性仅仅是最低要求,还需要进一步优化系统性能;另一方面,许多经典的优化控制方法在处理复杂非线性系统优化问题时常常具有局限性。为弥补传统方法的缺陷,实现日益复杂的非线性系统的最优控制任务,自适应动态规划（Adaptive Dynamic Programming,ADP）方法应运而生,其作为一种利用强化学习思想,在动态规划（Dynamic Programming,DP）算法基础上发展起来的最优控制策略,提供了一种解决非线性系统最优控制问题的新方法。另外,目前对于具有指定性能、输入死区、执行器故障、输出受限等多种复杂约束下不确定非线性系统最优控制问题的研究仍不够完善,现有控制方法考虑的约束形式还十分有限。考虑到实际系统不可避免地受到自身或外界约束条件的制约,研究多重复杂约束下的不确定非线性系统最优控制问题具有重要意义。因此,本论文基于单网络ADP方法,针对几类具有不同约束条件的不确定非线性系统,提出了相应的自适应最优控制器设计方案。主要内容如下:（1）研究具有指定性能和输入死区约束下严格反馈非线性系统的自适应最优控制问题。控制器设计包括前馈控制器及最优反馈控制器两个部分。在第一部分中,引入指定性能函数,减少了设计控制器过程中选择控制参数时对经验的依赖,同时保证跟踪误差轨迹收敛到指定性能函数预设范围内。基于死区参数信息的简化死区模型被用来处理输入死区约束下控制器难以设计的问题。在此基础上,结合反步法和命令滤波技术设计前馈控制器。第二部分则是针对引入的辅助仿射误差系统,采用基于模糊逻辑系统的单网络ADP算法得到近似反馈控制器,并通过设计合适的评价网络权重更新律保证近似反馈控制器的最优性。通过理论分析,证明闭环系统是一致最终有界（Uniformly Ultimately Bounded,UUB）的。仿真例子验证了该方法的有效性。（2）针对具有执行器部分失效故障的不确定非线性系统,研究了基于事件驱动策略的保成本最优跟踪控制问题。为完成系统状态对参考轨迹的跟踪任务,首先构造了由误差系统和参考系统组成的增广系统。随后,针对引入的标称系统,提出了一种改进的折扣代价函数,进而原系统的容错控制问题等价于标称系统的最优控制问题。接着,采用单网络ADP算法实现基于事件触发的近似最优控制器设计。不同于静态触发方式,本章所提出的事件触发方式是动态的,在内部动态信号的作用下可以进一步提高执行效率。最后,Lyapunov方法从理论上证明了闭环系统是UUB的,并通过两个典型的非线性系统仿真算例进行验证。（3）研究多架四旋翼无人机在具有姿态约束、输入饱和、模型不确定和外部干扰情况下的分布式最优姿态同步控制问题。为保证四旋翼无人机各姿态角位于预先定义安全范围内,利用障碍函数转换技术得到等价的无约束系统,该系统的稳定性保证了原系统的稳定和满足输出限制。采用基于每架无人机局部状态信息的扰动观测器估计系统模型的不确定项和遭受的未知外部扰动。进而利用估计的扰动信息构造了一个改进的非二次代价函数,可以同时反映每架无人机鲁棒性能的要求和控制输入的限制。接下来,利用单网络ADP算法推导出各无人机的最优控制策略。并行学习技术通过同时使用历史和当前的状态数据训练评价网络,放松了持续激励（Persistence of Excitation,PE）条件的限制。最后,通过理论分析,证明姿态系统一致性误差和评价网络权重误差是UUB的。实际四旋翼无人机编队姿态系统的仿真验证了该算法的有效性。