大型旋转机械是现代工业社会中的关键设备，而众多非线性激励因素又是大型旋转机械中的关键因素。近二十余年来，非线性转子动力学一直是国际学术界和工程界关心的前沿和热点。然而，非线性转子动力学在理论、方法和应用方面尚有许多问题待解决，如①综合非线性因素作用下转子系统的非线性动力学机理；②大系统稳定裕度的计算方法；③转子大系统异常故障振动的非线性治理方法等问题。本文针对这三个问题取得了以下具体研究成果： (1) 从八个方面综述了现代非线性转子动力学的研究现状和存在问题。 (2) 建立了一个4DOF单跨弹性转子在非线性油膜力、非线性内阻力和非线性弹性力作用下的非线性动力学模型，提出了求周期解的数值计算方法，以及计算周期解周期数及分岔点的算法。发现当转子通过油膜失稳进入倍周期运动时，由于非线性内阻力作用，还会发生概周期分岔形式的二次分岔，产生约1/6倍工频的低频运动。 (3) 提出了转子大系统的理论建模准则，考虑非线性油膜力、联轴节刚度及标高等因素的影响，建立了一个16DOF两跨四盘四支撑不平衡弹性转子模型，并提出了大型汽轮发电机组全轴系的48DOF理论模型，建立了考虑陀螺效应时的复数形式的非线性动力学模型。 (4) 针对求复数ODE 周期解及稳定性分析，讨论了复数打靶法和Floquet理论的应用问题，证明了复数ODE与实数ODE 对应Jacobian和单值矩阵的关系。将复数打靶法应用于16DOF两跨转子非线性动力学模型，对轴系中特有的非线性动力学现象进行了分析，发现了轴系失稳时存在的双低频现象。研究了轴系不平衡量、联轴节刚度及轴承标高变化对轴系失稳特性的影响。 (5) 对求解高维非线性动力学系统的一种半解析半数值方法——坐标平面投影法（CPP）进行了初步探讨，通过对Lorenz和Rossler混沌系统的奇点稳定性分析发现，应用CPP可以从降维系统的奇点性态得到整体系统的部分性态，从理论上证明了降维系统奇点集与原系统奇点集的关系，发现这两种混沌系统中的奇怪吸引子为“鞍—结—焦”型奇怪吸引子。 (6) 考虑非线性油膜力的影响，提出了高速转子动平衡的非线性传递函数法。实验证明，该方法能够较准确地得到加重质量的幅值和相位，且简单易行。