非线性系统的最优控制问题一直是控制领域的难点问题,现存的最优控制方法包括变分法、最大值原理和动态规划法都各自有其局限性,很难求得解析的最优控制解.因此,自适应动态规划作为一种近似求解最优控制问题的新算法,由于其能够克服动态规划法的“维数灾”,并且能够获得近似最优的闭环反馈控制律,受到了不少研究者的关注.然而,现有的大多数自适应动态规划方面的成果都集中于无约束非线性系统的镇定控制,对于带约束的非线性系统的最优镇定问题和最优跟踪控制问题仍未解决,同时自适应动态规划算法在稳定性和收敛性分析等方面也亟待完善.因此本文基于神经网络,利用自适应动态规划算法深入地研究了带约束的非线性系统的最优镇定控制以及自适应最优跟踪控制,并给出了严格的收敛性分析,为复杂非线性系统的分析与控制提供了新的思路与新的结果.其主要工作如下：1.针对一类执行器带未知死区的仿射非线性系统,提出了一种新型的神经网络自适应控制器的设计方法,该方法首先引入一个神经网络来估计对象的部分未知非线性动态行为,再基于隐函数定理构造另一个静态神经网络作为新型补偿器以补偿执行器的未知不对称的死区非线性.利用Lyapunov理论在给出光滑的控制律的同时严格证明了整个闭环系统的跟踪误差以及各个神经网络权参数的一致最终有界性,而且通过调节设计参数可以使系统的跟踪误差收敛到零附近的一个小邻域内.2.研究了一类约束离散非线性系统基于RBF神经网络的近似最优控制问题.首先提出一种新型的非二次泛函用来处理非线性离散时间系统的控制约束,并导出对应的离散哈密顿-雅可比-贝尔曼(HJB)方程.然后证明迭代的代价函数序列收敛到最优的代价函数,即由所有容许控制律序列得到的代价函数里的最小值,同时证明了这个最优的代价函数满足HJB方程.同时,通过引入协状态函数实现迭代自适应动态规划算法,从而消除了求解最优控制律过程中的导数项和积分项的计算.另外利用RBF神经网络来近似协状态函数和对应的最优控制律.特别是使用了模型网络来近似非线性系统的动态使得迭代自适应动态规划算法能够适用于数学模型未知的对象.3.研究了一类离散非仿射系统基于GI-GDHP算法的近似最优跟踪控制问题.首先,针对一类离散非仿射系统提出了一个无限时间最优跟踪控制方案,这个最优控制由两个控制项组成：一个是前馈控制项,一个是反馈控制项.其次,通过增维技术把带有时变参数的误差系统的最优控制问题转化成为一个增广系统的镇定问题,最后提出了一种新型的GI-GDHP迭代算法来求解模型未知的非仿射非线性系统的最优控制问题.4.针对带控制约束的非线性广义系统,提出了两种求取近似最优控制解的控制方案.第一种方案把广义系统变换成为普通的状态空间形式描述的系统,然后引入GI-DHP算法来求解变换后的系统的近似最优控制.第二种方案直接进行广义系统的协状态函数迭代和最优控制律迭代,寻求被控系统的近似最优控制律,并提供了迭代过程的收敛性分析.5.针对一类控制受约束非线性系统,提出了一种单网络GI-DHP算法的近似最优控制方案.首先针对被控系统的控制约束,通过引入非二次泛函把约束问题转换成为无约束问题,从而解决了求得的控制策略不光滑的问题.其次,针对HJB方程难于求解的问题,提出了贪婪迭代DHP算法以求解近似最优的协状态函数和控制策略,并给出了算法的收敛性分析.另外,提出了一个自适应动态规划算法的新型实现方案,消除了常规自适应动态规划方案中的控制网络,只引入一个神经网络来近似协状态函数,而后最优控制策略可以根据协状态函数直接计算得到.这样极大地简化了算法的实现过程,并有效地减少了计算量.最后,指出了自适应动态规划研究中一些存在的问题和发展方向,并对接下来的研究工作进行了展望.