最优控制作为现代控制理论的重要组成部分,在各工程领域中都得到了极大的应用和发展,然而随着系统复杂程度的提高以及由各种限制条件的约束,单纯用解析的方法已经很难求解此类控制问题。本文针对约束非线性系统最优控制问题,研究了一种数值算法,内容分成两个部分:第一部分是在哈密顿理论框架下考虑约束非线性系统最优控制的数值算法构造问题;第二部分是针对非线性约束的系统模型,应用本文提出的算法进行最优控制律设计。论文首先在分析了非线性最优控制问题的发展历程和国内外研究现状,然后介绍了将最优控制问题转化为两点边值问题的方法,并以此为基础,对含有状态或控制量约束的最优控制问题展开研究。解决这类含约束问题的难点在于它们在时间区间上分别包含了状态参数和控制参数的连续不等式约束,针对这类问题,本文运用内点惩罚函数思想将其转化为无约束的最优控制问题。最后,在母函数算法思想的基础上,采用双重母函数来实现两点边值问题的最优解逼近,并且实现程序仿真。基于所得到的含约束非线性系统最优控制问题的数值算法,本文将其应用于门式吊装系统控制以及近地圆轨道航天器模块分离问题当中。两者均为六阶系统的约束最优控制问题,在分别对两者模型中非线性参数近似处理后进行仿真分析,仿真结果显示控制律能够满足吊运过程中的小幅摆角限制以及航天器的小推力约束条件。