非线性随机动力系统的复杂动力学行为一直是科学研究的重要课题,而广义胞映射方法是其中一种有效的数值方法,它不仅被广泛应用到非线性系统的全局分析,而且在随机动力系统的研究中展现出了良好的应用前景。本文运用广义胞映射方法,重点研究了非线性随机动力系统的响应概率密度函数,以及系统在离出问题中的首次穿越时间统计和离出位置分布。论文的主要研究内容包括:运用广义胞映射方法研究了非线性随机动力系统的响应概率密度函数。针对高斯白噪声激励下的N维非线性动力系统,介绍了瞬态和稳态响应概率密度函数的求解过程。广义胞映射实施过程中,选用Monte Carlo模拟法计算胞与胞之间的一步转移概率,并通过稀疏矩阵算法得到系统瞬态响应的概率分布,进而在给定终止条件下得到稳态响应概率分布。在算例分析中,首先研究了可激发Fitz Hugh-Nagumo神经元模型的稳态响应概率密度函数,充分证明了广义胞映射方法的有效性,并分析了噪声强度和时间标度比对系统响应激发态的影响。然后研究了一类含非负实幂率恢复力的系统在周期和高斯白噪声共同激励下的瞬态和稳态响应,结合确定性系统的全局性质,分析了瞬态概率密度函数的演化过程。在稳态响应分析中,发现了周期激励的频率会诱导随机P-分岔,而实幂率指数的变化会导致系统出现混沌响应。针对含周期和高斯白噪声激励的非线性系统,通过短时高斯逼近方法计算系统的转移概率矩阵,提高了广义胞映射方法在计算响应概率密度函数时的效率。先将系统的整个周期等分成若干个小区间,每个小区间上的短时转移概率密度函数可近似看作高斯分布,其中均值向量和协方差矩阵通过求解闭包后的矩方程得到。由此计算一系列短时转移概率矩阵,进而构造系统在一个完整周期上的映射。然后对广义胞映射方法实施过程中的几个问题作了说明,包括分割参数和积分区域的选取,以及精度的定量评估方法。最后通过具体算例,先研究了一类含指数积分型非粘性阻尼系统的稳态响应,对扩展后的三维系统,推导了高斯闭包矩方程,分析了阻尼系数和松弛参数对系统响应的影响。又重点研究了光滑非连续振子的瞬态和稳态响应,针对其光滑和非连续两种不同情形,分别推导了系统的矩方程。响应分析结果表明确定性混沌鞍会影响随机响应概率密度函数的形状,系统的光滑性参数的变化可以诱导产生随机P-分岔。应用广义胞映射方法研究了非线性随机动力系统的首次穿越时间统计。以单自由度二阶系统为例,结合确定性系统的吸引子和吸引域边界的位置,描述了首次穿越时间统计问题,并详细介绍了在广义胞映射框架下,添加吸收边界条件和初始条件,近似求解首次穿越时间概率密度以及平均首次穿越时间的过程。第一个算例将该方法运用到高斯白噪声激励下的逆Van der Pol振子的首通时间问题,通过直接Monte Carlo模拟验证了结果的正确性。在第二个算例中,研究了乘性泊松白噪声激励下二阶双稳系统的首次穿越时间统计性质,在对称和非对称两种情形下,分别讨论了噪声的强度和平均到达率对首次穿越时间的影响。从而揭示了泊松白噪声的非高斯效应,即在相同噪声强度下,泊松白噪声比高斯白噪声更加有利于系统在较短时间发生首次穿越,而且平均到达率越小,效果越明显。在随机响应和首次穿越时间统计分析的基础上,将广义胞映射方法进一步应用到随机离出问题中的离出位置分布的研究。根据确定性系统的全局性质,选取合适的区域建立胞化空间,并根据其位置将所有的胞重新分为三类。再运用数值积分和Monte Carlo模拟法构造系统的一步转移概率矩阵,其中添加了一种针对离出位置的吸收边界条件。考虑系统的初始状态以概率1位于吸引子处,由Markov链理论和稀疏矩阵算法得到稳态分布,并从中提取系统的离出位置分布。在算例中,分别研究了Kramers离出问题,Maier-Stein模型以及一类被捕食者-捕食者模型中的离出位置分布,并运用直接数值模拟的结果验证了广义胞映射方法的准确性。研究发现,在弱噪声情形下计算系统的离出位置分布时,广义胞映射方法具有明显优势。