随着科技的进步,在实际应用中对所建立的系统模型的精确度要求越来越高,传统的确定性系统模型显然已经不能满足这种高精度需求。另一方面,随机因素和时滞又时常会破坏系统的性能和稳定性,所以对随机时滞系统的稳定性研究和控制器设计就成为了一个亟待解决的问题。自适应估计是估计系统中未知参数非常有效的方法,但由于随机因素的影响,对带有未知参数的非线性随机系统进行参数估计和自适应控制是很有难度的。本文利用随机Lyapunov稳定性理论、随机积分性质定理、线性矩阵不等式(LMI)以及参数分离理论对非线性随机系统的稳定性及控制器设计问题进行了研究。其主要研究内容以及得到的结果包含以下几个方面:利用Lyapunov-Krasovskii泛函结合线性矩阵不等式方法,基于单边Lips-chitz条件和二次内有界条件提出了一个新的时滞相关稳定性判据,由线性矩阵不等式给出了不确定随机非线性系统保守性较小的稳定性条件。设计了一个非脆弱状态反馈控制器以保证闭环系统是鲁棒随机稳定的,并且提出了H∞鲁棒控制器设计方法,以确保闭环系统满足一定的H∞性能。研究了Lipschitz随机离散系统的观测器设计。由于广义Lipschitz条件能够更好的利用非线性部分的结构信息,所以将广义Lipschitz条件引入到一类非线性随机离散系统的观测器设计中。对于非线性系统中不含有随机因素的情形,给出了全阶及降阶观测器设计方法,进而将其理论推广至非线性随机离散系统,给出了非线性随机离散系统的稳定性判据和观测器设计条件。利用LMI技术和二次稳定性理论导出了新的观测器合成方法。考虑了一类非线性随机(连续及离散)系统的自适应观测器设计。系统中未知常数参数假设为实范数有界的。将广义Lipschitz条件引入到非线性随机系统的自适应观测器设计中,可以更充分的利用非线性部分所提供的的结构信息。基于Lyapunov-Krasovskii泛函方法和随机Lyapunov稳定性理论,设计出了一个新的使得误差系统在均方意义下一致指数有界的自适应观测器设计条件。研究了一类带有确定性扰动及随机扰动的非线性随机系统的自适应估计及控制器设计问题。提出了一个新的设计分析方法构造自适应控制器。利用随机Lyapunov理论,状态反馈增益和观测器增益设计的分离理论设计了自适应状态及参数估计器,以保证闭环系统是随机稳定的。并且把研究方法推广至随机时滞系统,得到了参数估计器存在的充分条件。最后,给出了本文的总结及研究发展前景。