滚动轴承是航空发动机高压转子系统的主要支承部件之一,其运行过程中表现出来的非线性振动特性是影响航空发动机安全稳定运行的重要因素,可能导致发动机产生多种故障,如突跳振动、冲击裂纹等。因此,针对航空发动机高压转子系统,本文建立了滚动轴承-复杂转子系统数学模型,并对其非线性振动特性进行研究,为我国航空发动机的优化设计以及运行稳定性的提高提供一定的参考意义。在众多计算方法中,求解高效的谐波平衡法（harmonic banlance method,HBM）受到国内外学者的广泛采用,然而这些研究多集中于低自由度转子系统,与实际结构差异性较大,因此,本文将高自由转子系统作为研究对象,然而在求解过程中,使用现有HBM及其相关方法需要消耗较长机时,计算量过大。因而,本文结合前人相关研究,提出了有限元增量传递矩阵法,实现了高自由度系统周期解及其稳定性的快速求解,进而完成了复杂转子系统非线性振动特性与分岔行为的研究。本文主要研究内容包括:（1）结合有限元法、传递矩阵法以及增量谐波平衡法提出了有限元增量传递矩阵（finite element incremental transfer matrix method,FE-ITM）,根据相关文献的仿真结果对FE-ITM的正确性进行验证,推导得到了轴段单元、轴段-圆盘单元、线性支承单元、轴承耦合单元的传递矩阵。FE-ITM有效缩减了系统的自由度,提高了周期解的计算效率,具有自由度低且不随系统单元数增多而改变的优点。为降低模型建立时的推导难度与计算过程中的累积误差,引入了整体传递矩阵法与改进的Riccati矩阵变换。针对完整解分枝的追踪问题,将增量弧长法嵌入FE-ITM的计算过程中,给出了 Riccati矩阵变换下的补充方程建立过程。给出了周期解稳定性的判定方法,极大地简化了多自由度系统稳定性的判定过程的推导难度与计算量。（2）基于整体传递矩阵法,建立了含有分叉结构的滚动轴承-转子系统传递矩阵模型,并通过文献仿真结果进行验证。基于上述方法对系统在不同轴承游隙、支承刚度、支承阻尼下的非线性动力学响应以及分岔行为进行研究,得到了系统完整的解分枝,分析了转子系统中的VC频率参激共振现象、准周期运动、滞后突跳以及双稳态行为,并对非线性行为的内部机理进行探究。（3）为求解在双频激励下的转子系统的非线性振动响应,本文进一步将多维傅里叶变换引入FE-ITM中,推导建立了双频激励下的轴段单元、轴段-圆盘单元、线性支承单元、轴承耦合单元的传递矩阵。实现了对转子系统在不平衡故障以及滚动轴承变柔振动共同激励下的振动特性分析,得到了其在不同轴承游隙与偏心量下的完整解分枝,对系统的分岔行为以及随参数变化规律进行分析。（4）针对实际的转子系统试验台,考虑了基座与转轴结构的耦合振动,使用所提出FE-ITM建立了含有闭环分叉结构的滚动轴承-转子系统的传递矩阵模型,通过试验测取转子系统试验台的振动响应,对仿真结果进行验证。