近年来,高阶随机非线性系统的控制设计问题受到越来越多的关注。从系统模型的角度来看,高阶随机非线性系统是已经得到大量研究的严格反馈随机非线性系统的更一般化形式。另外,高阶随机非线性系统还包含了一类现实中非常重要的欠驱动、弱耦合的机械系统。因此,高阶随机非线性系统的控制问题具有重要的理论和实际意义。然而,这一类控制问题不能用反馈线性化的方法来解决。针对几类高阶随机非线性系统,本文研究其状态反馈和输出反馈控制器设计问题。通过利用积分反推方法、齐次占优技术以及一些重要的不等式,分别设计了镇定的状态反馈和输出反馈控制器,并且给出了控制器的具体设计过程。另外,借助于随机微分方程的存在唯一性理论和随机非线性系统的稳定性理论,给出了相应系统的稳定性分析。数值例子和仿真结果验证了本文所提方法的优越性与有效性。本文的主要内容分为以下五个部分：研究了一类高阶随机非线性系统的状态反馈镇定问题。这一类系统既不能反馈线性化也不仿射于控制输入,并且不满足严格三角条件。在一些适当的假设条件下,通过对不满足严格三角条件的随机非线性系统构造一种系统化的设计方法,设计了光滑状态反馈控制器。这种控制器保证了闭环系统在[0,∞)上几乎处处有唯一解,闭环系统在原点的平衡点是依概率全局渐近稳定的。最后,数值例子验证了控制方案的有效性。基于齐次占优理论和积分反推技术,研究了一类高阶随机非线性系统的状态反馈镇定问题。完全取消了高阶随机非线性系统所需要的阶次限制,并且把增长条件放宽到更一般化的形式。所设计的状态反馈控制器保证了闭环系统在[0,∞)上几乎处处有唯一解,闭环系统在原点的平衡点是依概率全局渐近稳定的,并且解决了依概率逆最优镇定的问题。最后,数值仿真例子验证了状态反馈控制器的有效性。研究了一类既不能反馈线性化也不仿射于控制输入的大规模高阶随机非线性系统的分散状态反馈镇定问题。在一些适当的假设条件下,设计了光滑的分散状态反馈控制器。这种控制器保证了闭环系统在[0,∞)上几乎处处有唯一解,闭环系统在原点的平衡点是依概率全局渐近稳定的,并且解决了依概率分散逆最优镇定的问题。数值算例进一步说明了所提方法的有效性。研究了一类高阶随机非线性系统的输出反馈镇定问题。这一类系统的扩散项除了依赖输出以外,还依赖不可量测的状态。通过引入新的刻划变换,采用有效的观测器,选择恰当的Lyapunov函数,所设计的光滑输出反馈控制器保证了闭环系统在原点的平衡点是依概率全局渐近稳定的,输出可以几乎处处调节到零,并且解决了输出反馈依概率逆最优镇定的问题。最后,几个数值例子验证了输出反馈控制器的有效性。研究了一类更一般的高阶随机非线性系统的输出反馈镇定问题。这类高阶随机非线性系统具有更一般的阶次条件和非线性增长条件。利用积分反推方法和齐次占优技术,完全取消了高阶系统的阶次限制,放宽了非线性增长条件。所设计的输出反馈控制器保证了闭环系统在[0,∞)上几乎处处有唯一解,闭环系统在原点的平衡点是依概率全局渐近稳定的。最后,数值例子验证了控制方案的有效性。最后对全文所做的工作进行了总结,并指出了下一步研究的方向。