非线性转子—轴承系统的自激振动(工程上称为油膜振荡)及其稳定性等问题有着广泛而重要的实际工程背景，特别是对大型汽轮发电机组而言，至今国内外未解决好其油膜失稳问题，因此对其失稳机理的研究已成为一项迫切需要解决的问题。 本论文从定性研究的角度出发，以采用短轴承模型的刚性Jeffcott转子系统作为研究对象，利用中心流形定理，平均法，范式理论，奇异性理论和Takens双零特征值理论方法，快速Galerkin方法以及Floquet理论等，对系统在临界点附近的某些局部动力学性态和在较宽参数范围的全局动力学性态进行了研究。通过在机械模型上的实验，得到系统自激振动的动力学特性以及多种因素对其产生的影响，并验证了理论分析的部分结论。 本论文的工作可分为四个部分： 在第一部分(第二章)中，在直角坐标系中，在短轴承的假设条件下，考虑了湍流的影响，由Reynolds方程推导出轴承非线性油膜力公式；最后导出本文的研究对象—采用短轴承模型的刚性Jeffcott转子系统的无量纲运动微分方程组。 在第二部分(第三章)中，首先求出了其未扰(质量平衡)系统的临界点—Hopf分岔点，然后主要地对非平衡转子系统，利用中心流形定理和平均法相结合的方法以及奇异性理论和Takens双零特征值理论方法，在系统的临界点处对其在1／2亚谐共振情况下的分岔模式、周期振动、调幅调相振动以及同宿、异宿轨道的分岔性态进行了研究。给出了控制系统稳定运行的结构参数区域。分析结果表明，在1／2亚谐共振情况，在临界点附近存在多种稳态运动模式，发生Hopf分岔后，系统的运动状态变得复杂，在一定条件下存在产生更为复杂的混沌运动的可能性。 在第三部分(第四章)中，用快速Galerkin方法结合Floquet理论和数值积分方法，在较宽的参数范围对系统进行了稳定性和分岔研究。得到系统的分岔集，并分析了润滑油粘度值的变化对系统分岔集的影响。用数值方法得到了系统在某些参数域中的分岔图以及某些参数点处的时间历程曲线、相图、轴心轨迹图以及Poincare映射和频谱图。研究结果表明系统在较宽的参数范围内存在倍周期分岔和Hopf分岔；润滑油粘度值的升高使自激振动更易于发生。本章的研究结果给出了在较宽参数范围内系统动态行为的一个总体概貌。 在第四部分(第五章)中，通过在转子振动实验台上的实验，得到转速、不平衡度和润滑油粘度值的变化对油膜自激振动的影响特性和振动性态。实验结果验证了本文理论分析的部分结论。