随着大型旋转机械向着高参数、大容量、柔性化方向发展，其关键部件轴承转子系统非线性耦合涡动失稳问题越来越突出。因此，迫切需要深入了解轴承转子系统非线性动力学特性及失稳机理，研究动态载荷激振作用与耦合涡动行为的关系，掌握系统结构参数和运动参数对系统运动稳定性的影响规律。本文从工程实际出发，进一步分析完善轴承转子系统动力学运动方程，研究流固耦合涡动失稳机理，运用多种综合故障诊断方法对系统运动特征进行识别分析。在此基础上，通过试验对流体润滑轴承转子系统中的低频耦合涡动行为进行研究控制。全文具体研究内容与结论如下：　　 (1)基于典型非线性润滑解析模型基础上，通过研究轴承转子系统中动态载荷的耦合作用关系，分析系统中涡动、转动和振动三种行为特征，进一步完善了轴承转子系统动力学运动方程。定性的分析了结构参数、运动参数与轴承转子系统耦合涡动行为的关系，以及对系统运动稳定性的影响，并深入探讨了耦合涡动行为的控制方法。　　 (2)目前旋转机械故障诊断技术多为定性诊断，只能诊断出故障的有无以及故障种类，而在对轴承转子系统耦合涡动行为故障诊断过程中，不仅要定性的识别谐波故障类型，而且还应准确诊断出各曲型谐波成分对系统故障的影响程度。因此，本文通过对短时傅里叶变换和阶次分析技术的研究，在时间频率三维谱图故障特征定性识别的基础上，提出了无量纲归一化的阶次分析方法。并通过实验验证了由时间频率三维谱图故障特征的定性识别到无量纲归一化的阶次分析方法的定量诊断过程。　　 (3）轴承转子系统启动运行过程中的轴心轨迹动态特征包含了大量耦合涡动状态信息，该动态信息对系统运行状态的监测、预测及故障诊断起着重要作用。本文通过对典型耦合涡动行为进行仿真分析，研究了其轴心轨迹运动特征，分别提出了基于涡动自相似度的低频耦合扰动行为识别方法及基于涡动半径振动裕度极限值的运动稳定性判别方法。结合小波包时频分析技术的研究，采用卷积型小波包能量矩分析方法，定量分析各频带谐波激振特征及其对系统的影响效果，识别耦合涡动行为的激励性质，为运动稳定性控制提供反馈。　　 （4)声振信号故障诊断技术因其方法的便捷性和非接触性而逐渐受到重视，本文经过对声振信号测试技术、EMD方法及实测冲击响应基元函数特点研究基础上，结合耦合涡动失稳碰摩故障特征，提出了一种耦合涡动失稳碰摩故障的声振信号识别方法；并通过滑动轴承转子实验台模拟碰摩实验，验证了该非接触声振信号碰摩故障诊断方法。　　 (5)为了研究轴承转子系统中低频耦合涡动行为的控制方法，在对气浮轴承转子系统的耦合涡动失稳机理及运动行为特征分析基础上，通过三次稳定性控制试验发现：调整轴承气膜动态刚度或增加弹性阻尼支承，在一定程度上，能够抑制耦合涡动行为。并且在增加弹性阻尼辅助支承后，采取气膜动态参数联合调频控制，可将质量为8.5Kg的转子最高运行转速由22，720r/min提升至47，444r/min，运行稳定。此次运动稳定性控制试验所得控制参数及控制方法，可为流体润滑轴承转子系统中低频耦合涡动行为主动控制技术研究提供参考。