自适应与学习控制对于处理不确定性是非常有效的方法，能在线估计未知信息，以改进系统的控制性能。本论文基于自适应强化学习方法，研究不确定系统的优化控制方法及应用，主要做了以下两方面的工作：（1）首先，针对一类机器臂系统，设计一种自适应神经网络控制算法。神经网络用于逼近系统的不确定性。基于强化学习理论，通过引入性能指标函数，利用梯度下降法，设计的控制器使得性能指标函数达到最小值，实现优化控制的目的。然而，当死区输入存在时，这个方法不能保证闭环系统的稳定性。因此，本文同时研究了带有死区的机器臂系统的优化控制问题。这里，假设死区参数未知但有界。同样运用强化学习理论，设计了一个最优控制器。最后，根据李雅普诺夫稳定性定理分析，证明了闭环系统的所有信号都有界。仿真结果证明了设计算法的有效性。（2）针对一类具有输出约束条件的混沌系统，设计了一种自适应控制算法。运用Barrier李雅普诺夫稳定性函数方法避免了系统输出违背约束条件。随后，研究了一类离散混沌系统的自适应神经网络优化控制问题，运用强化学习理论，使性能指标函数达到最小值。与离散混沌系统的控制方法相比较，提出的方法解决了最优控制问题，减少了控制器的设计成本。基于李雅普诺夫理论，证明了闭环系统的稳定性。仿真结果进一步说明了提出方法的有效性。