复合行星齿轮传动系统具有更大的扭矩质量比,能实现更多的传动比,已被广泛运用于车辆和飞行器中。但复合行星齿轮传动系统的结构更复杂,影响其动力学特性的因素更多,具有更为严重的噪音和振动问题。对复合行星齿轮传动系统动力学特性进行深入研究,剖析振动机理,进行结构动力修改,是减小其振动和噪音,提高其可靠性和传动效率的根本措施。但目前对其研究还处于起步阶段,并且主要集中于对其线性特性的研究。本文建立了复合行星齿轮传动系统非线性动力学模型,对系统非线性动态特性、固有特性及特征灵敏度和均载特性进行了系统研究。根据对集中质量运动模式处理方式的不同,齿轮动力学模型可分为纯扭转模型和平移-扭转耦合模型。论文首先采用集中质量法建立了复合行星齿轮传动系统纯扭转非线性动力学模型。模型考虑了时变啮合刚度,齿侧间隙和齿轮副综合啮合误差等非线性因素的影响；模型中包含系统所有的功率流状况,适用于任意的行星轮组数,任意的行星轮组间距、任意的啮合相位和任意的同组行星轮相对位置。引入构件的相对位移作为新的广义坐标,推导出矩阵形式的系统非线性统一微分方程,并对方程组进行了无量纲化处理。为有效求解非线性微分方程组,分析了变步长Gill数值积分法的求解原理；论述了常用的混沌定性研究方法；然后基于系统纯扭转分析模型,通过改变系统的无量纲激励频率,运用变步长Gill法求解得到了系统单周期非谐响应、多周期次谐响应、拟周期响应和混沌响应；综合利用时间历程、相图、Poincare截面和功率谱判别系统处于何种运动状态,对各种响应进行了详细对比和分析；通过改变系统啮合阻尼比,绘制系统分岔图,寻找系统由周期进入混沌的途径。当齿轮支撑刚度与啮合刚度之比小于10时,不能再用纯扭转模型来分析计算复合行星齿轮传动系统的动力学特性。为了使模型能更准确地反映实际情况,建立了复合行星齿轮传动系统的平移-扭转耦合非线性动力学模型。模型中每个构件具有两个平移自由度和一个扭转自由度,总共6N+12个自由度,其中N为行星轮组数；考虑了系统时变啮合刚度、综合啮合误差和陀螺效应。通过选取合适的坐标变换,推导出系统非线性动力学微分方程；给出了系统的无量纲分析模型,为固有特性分析和均载特性研究奠定了基础。通过求解特征值方程得到了系统的固有频率和振型,总结出复合行星齿轮传动系统固有特性的规律；分析了复合行星齿轮传动系统固有特性对系统参数的特征灵敏度,推导了与模态动能和模态应变能有关的振动模态特征灵敏度表达式；然后改变系统某一参数,包括各构件的质量、转动惯量、支撑刚度、扭转刚度和同组两种行星轮的相对位置,研究固有特性随参数变化的变化趋势；本文还研究了行星轮组在行星架上不均匀分布时系统固有特性的特征。复合行星齿轮传动系统结构复杂,对系统的同轴性和对称性提出了更高要求。实际上,由于系统中各组成构件不可避免地存在制造、装配等误差,载荷不可能实现均匀分流。本文分析了复合行星齿轮传动系统中存在的安装和制造误差,给出了具体表达式,并对已建立的平移-扭转耦合非线性动力学模型进行了修正。通过改变系统的参数值,包括行星轮组数、太阳轮支撑刚度、行星架运转速度和同组两种行星轮之间的相对位置,求解各行星轮的均载系数,研究系统参数变化对系统均载特性的影响。通过本文的研究揭示了复合行星齿轮传动系统的非线性动态特性,掌握了设计参数对系统固有特性和均载特性的影响规律,为实现其动态设计提供了理论依据。