强化学习是一种基于试错机制的机器学习算法,其主要用通过求解最大化累计奖励函数的方式来获取最优策略。随着机器人、电子、通讯等技术领域的快速发展,系统的结构和动态特性变得越来越复杂。一方面,建立精确的系统模型往往耗费巨大,甚至是不可能实现的。另一方面,即使获取了精确的数学模型,其形式往往也是十分复杂的,这给之后的系统分析与控制器设计带来了巨大困难。因此,不依赖于系统模型的强化学习方法在解决上述问题方面具有优势。近年来,虽然强化学习已经在许多领域取得了阶段性的重要成果,但是在处理带有复杂输入约束的非线性系统最优控制问题上,仍存在着一些关键问题亟待解决。例如,如何处理多项式形式的输入约束;如何处理非静态的输入约束;如何在不改变原有奖励函数的前提下获取满足约束要求的控制策略;如何证明学习算法的收敛性和最终策略的最优性。此外,研究如何利用输入约束来指引策略的探索过程也是具有理论意义和实际价值的。在实际应用场景中,智能体通常会对训练过程的安全性有着极高的要求。此时,人为地设定合理的强化学习探索范围将有助于智能体实现安全高效的探索。本文基于现有的强化学习框架和理论分析手段,面向输入受限系统的最优控制问题和带有约束指引的强化学习探索机制,结合实际场景的应用问题展开研究。本文的主要贡献如下:（1）提出了一种基于平方和规划的强化学习框架,解决了一类带有输入约束的非线性系统最优控制问题。输入约束普遍存在于各类实际的控制系统中。然而,现有的控制方法主要针对的是输入饱和约束问题,而对于实际系统中存在的控制量变化速率约束、控制量加和约束以及上述约束的组合等复杂约束问题,则缺少有效的控制方法。针对上述问题,首先设计了基于平方和形式的评价网络,将评价函数表示为关于控制输入的多项式形式。然后,引入了 Lasserre松弛法,将策略提升环节中求解控制输入的过程松弛为一个有约束的凸优化问题,并采用原始-对偶的方法获取当前时刻下满足约束要求的近似最优输入。针对强化学习在线训练不稳定的问题,引入了软更新机制和经验回放技术,通过放缓的网络更新速率、降低样本内在关联性以及提高样本重复利用率的方式来确保在线训练过程的稳定性。在理论层面上,分析了带有软更新机制的迭代算法收敛性和策略最优性,揭示了不同折扣因子和初始化估计函数对算法最终收敛结果的影响。最后,通过四个数值仿真实验分别验证了理论分析的正确性和算法的有效性。（2）提出了一种基于动作映射机制的确定性策略梯度算法,解决了带有状态依赖输入约束系统的最优控制问题。现有的控制策略通常需要假定输入约束为恒定不变的,要处理动态变化的输入约束存在较大困难。针对上述问题,设计了满足状态依赖输入约束的策略空间与满足输入饱和约束的策略空间之间的对应方法,即动作映射机制。然后,基于该机制将原始的最优控制问题等价地转换为便于求解的带有输入饱和约束的最优控制问题。最后,采用确定性策略梯度算法来求解最优的控制策略。受限于输入约束的具体形式,策略空间之间的对应关系以及相应的动作映射并不总是存在的。针对该问题,进一步分析了动作映射存在的充分必要条件,并针对两种具有代表性的状态依赖输入约束情况,给出了动作映射具体的构建方法。状态依赖的输入约束还可能会导致评价函数变得不连续,进而影响神经网络对评价函数的精确拟合。针对上述情况,给出了一个可以确保迭代评价函数连续性的充分条件。通过对带有状态依赖输入约束系统进行仿真测试,验证了所提出算法的有效性。（3）提出了一种带有输入约束指引的强化学习探索机制。复杂的系统动态特性以及稀疏的奖励环境会导致智能体无法对策略的探索方向给出有效地判断,进而极大地降低强化学习算法的学习效率。此外,如果智能体在状态-动作空间上的危险区域进行探索,很可能会导致毁灭性的后果。针对上述问题,首先选定已有的控制效果较好的策略作为指引策略,并基于该指引策略对下一时刻策略的更新范围进行约束,避免策略在无意义区间或者危险区域上进行探索。然后,基于上述的动作映射机制,建立真实探索空间和虚拟探索空间之间对应关系,并结合确定性策略梯度算法求解在更新范围内的最优策略,最终实现对状态-动作空间上的安全高效探索。在理论层面上,基于状态-动作空间的紧致性和策略函数的单值假设,证明了迭代策略的一致收敛性。通过对线性系统和二自由度机械臂进行实验仿真,验证了提出的自适应探索机制的有效性。