离出问题旨在研究弱噪声极限扰动的非线性动力系统远离平衡态时的随机动力学行为。此时,不论噪声的强度有多小,也不论动力系统是否处于概率1意义的稳定状态,只要经过足够长的时间,一个随机非线性动力系统总可以从初始稳态转变到另一个稳态。这种由随机性和非线性相互作用导致的、系统在其不同状态之间转换的现象就被称为离出现象。由于随机激励和随机因素普遍存在于工程实际中,所以在化学、生物、量子物理、航空工程、汽车工程、土木工程等等各学科和工程实际中,均不可避免地涉及众多的离出问题。混沌行为是非线性动力系统的一种复杂现象。混沌系统具有:对初值的敏感性、拓扑传递性、周期轨道在相空间稠密等重要性质,而混沌系统受随机扰动产生的离出现象因为其行为的独特性和现象的复杂性引起了普遍的关注,有关的研究成果也将会对随机动力系统的离出行为研究产生重要的影响。此外,由于混沌现象广泛地存在于机械、电路、气象、生物系统等实际结构、系统中,所以对于混沌系统在随机扰动下产生的随机动力学行为的研究具有重要的实际应用价值。本文主要研究了受不同噪声作用的几类非线性系统的离出行为,使用拟势（quasipotential）、平均首次离出时间（Mean first passage time,MFPT）与最大可能离出路径（Most probable escape path）,定量地刻画了混沌吸引子、混沌鞍（chaotic saddles）对于离出行为的影响。主要研究工作与学术贡献如下:首先对一类具有对称双势阱势能的强非线性系统分别在仅有白噪声激励、周期与白噪声共同激励下的离出问题进行了研究。利用WKB（Wenzel-Kramers-Brillouin）近似、奇异摄动法和特征线方法将二阶偏微分方程——FPK（Fokker-Plank-Kolmogorov）方程的求解问题转化为一组常微分方程组在特征线上的求解问题。在此基础上得到了随机动力系统的平均首次离出时间和最大可能离出路径,并使用Monte Carlo模拟与历程概率密度（Prehistory probability density）的概念完成了对结果的验证。在分析离出行为的过程中,还发现了离出行为模式中的奇异性,并通过解析方法确定了焦散线（Caustics）与尖点（Cusp）的位置,分析了离出行为模式与最大可能离出路径的关系。随后,在这些方法的基础上,进一步研究了混沌动力系统在弱噪声影响下的随机动力学行为。第三章对一个在周期力与白噪声共同激励下的、具有二次与三次强非线性项的光滑系统,首先使用图胞映射方法得到了无噪声扰动下的确定性系统在Poincaré截面上的全局相图,并观察到不同参数下其混沌吸引子、混沌鞍的精细分形结构。再通过使用第二章中的方法,求解出在弱噪声扰动下的随机系统的平均首次离出时间与最大可能离出路径。并从数值模拟和电路实验两个方面予以验证。最后结合已经得到的全局相图,分析了混沌吸引子、混沌鞍的存在对于离出行为与系统全局稳定性的影响。由于混沌鞍本身不具有吸引性质,所以在很多非线性系统中难以察觉,并且它的存在会对随机动力系统行为产生很多难以预料的影响。为了进一步研究其复杂的随机动力学行为,第四章中针对工程实际中广泛存在的一类受到白噪声与周期力同时激励的分段线性系统,使用图胞映射方法分析了确定性系统中混沌结构的分岔过程,并求解得到了不同参数下系统在弱噪声激励下的平均首次离出时间与最大可能离出路径。最后结合这些结果,仔细分析了含有混沌鞍的系统的离出机制,以及混沌鞍对系统全局稳定性的影响。同时本论文还使用了随机动力系统中常用的van der Pol变换与随机平均法分析了周期三解在该随机动力系统离出行为中的重要作用,并得到了离出到混沌鞍的平均首次离出时间。第五章研究了一个受到谐和与实噪声共同激励的Duffing振子的离出问题。其中遍历实噪声被假设为一个以n维Ornstein-Uhlenbeck（O-U）过程为变量的可积标量函数,并且这个O-U过程是由一阶线性滤波器滤波高斯白噪声得到的。在分析离出问题的过程中使用了基于FPK算子以及其伴随算子的特征谱展开方法和渐近分析方法,以得到系统平稳概率密度函数的一阶展开项的控制方程。由于在这一过程中避免了使用噪声的强混合条件（strong mixing condition）和细致平衡条件（detailed balance condition）,这使得分析的范围可以扩大到窄带实噪声引发的离出问题。