水力发电系统是一类机械、电磁和水力等因素相互影响、相互制约的复杂非线性动力系统,其运行过程中水电机组振动故障的产生和发展包含了大量不确定性因素,难以用传统建模理论与方法进行精确的数学模型描述。同时,随着水电在电力能源结构中所占比重逐渐增大,且机组单机容量和水头的大幅提高,机组振动问题日益突出,对电网的安全稳定运行造成的影响也日益凸显。因此,迫切需要深入研究不同机组振动故障的产生及其相互作用机理,揭示系统参数对机组轴系振动稳定性及失稳影响的规律,为进一步提高我国水电机组的设计和运行水平提供重要的理论依据和技术支撑。本文以非线性转子动力学理论和方法为基础,建立不同振动故障作用下机组轴系非线性动力学模型和运动微分方程,综合运用分岔图、Poincare截面图、轴心轨迹图、时域波形图和幅值谱图等多种手段,系统地研究了转定碰摩与轴承松动耦合故障下机组轴系的动态响应、联轴器综合不对中下机组的动力学行为、机组轴系的非线性电磁振动特性和水轮机密封系统对机组振动及稳定性的影响等。论文主要的研究成果如下：(1)综合考虑裂纹深度对转轴刚度的影响以及开闭函数的连续性,提出一种新的裂纹开闭规律,构建了裂纹和碰摩耦合故障转子系统的运动微分方程,分析了不同故障下转子系统的分岔与混沌行为,研究了定子径向刚度、裂纹深度和裂纹角度等系统参数对耦合故障转子系统动力学特性的影响。研究表明,随着定子径向刚度的增大,转子碰摩力不断增大逐渐成为主导因素,使系统响应由混沌运动不断向周期运动演变；不同裂纹深度和裂纹角度下转子系统随转速变化表现出不同的分岔演化过程,在临界转速附近,其响应逐渐由复杂的混沌运动向周期4运动不断演变,在超临界转速区则以拟周期运动为主要形式,且出现了不同的倍周期运动。(2)针对轴承松动易导致发电机转子与定子发生碰摩的问题,考虑发电机定子与基础间的连接刚度和阻尼,建立了轴承松动与碰摩耦合故障下水轮发电机组非线性动力学模型,分析了机组转频比、转子质量偏心及摩擦系数等参数对转子、定子及松动轴承的振动影响,重点研究了发生碰摩时定子响应的非线性动力学行为。分析发现,刚度比不影响碰摩的发生区域,系统响应随转频比和摩擦系数变化存在周期运动、倍周期运动和拟周期运动等,幅值频谱中出现幅值较大的谐波分量；随着转子质量偏心的增大,转子与定子发生碰摩的区域不断增大,且在两个不同的转频区间内都有碰摩现象发生,其响应出现了拟周期运动。(3)在分析刚性联轴器综合不对中运动机理的基础上,建立了水轮发电机组轴系综合不对中的动力学模型,分析了该系统随机组转速、不对中平行量及不对中偏角等参数变化的非线性动力学行为。研究发现,随着不对中故障的增大,系统响应存在有周期运动、周期3运动及复杂的拟周期运动。在拟周期运动区域,转子和转轮的幅值谱图中除1倍频外,还存在幅值较大的低频分量,特别是在0.3-0.4倍频处,且不对中平行量对转子的振动影响较大；在转速上升的过程,转子和转轮响应均为周期运动,其振幅不断变化,当转速进一步增大时,系统响应会由周期运动演变为拟周期运动,呈现出丰富的非线性动力学行为。(4)根据电磁拉力与转子偏心的非线性关系,将气隙磁导展开为Fourier级数,推导出不平衡磁拉力的具体解析表达式,建立了水轮发电机组轴系非线性电磁振动的动力学模型,研究了机组转速、励磁电流及转子质量偏心等系统参数对机组轴系振动的影响。结果表明,随着机组转速上升过程中,发电机转子在1-1.5倍频和0.5-1倍频处出现了谐波分量,转轮则在0.5-1倍频处存在幅值较大的低频分量；随着励磁电流和转子质量偏心的增大的变化,系统响应存在周期运动和复杂的拟周期等,系统振幅不断变化,转子的1倍频幅值不断增大,高频分量不断减少,而转轮的1倍频幅值不断减小,低频分量不断增多。(5)针对随着水轮发电机组轴系结构参数的提高,作用在水轮机转轮上的密封水流激振力将显著增大,容易导致机组异常振动的问题,采用Muszynska非线性密封力模型,建立了密封激振力作用下水轮发电机组密封轴系非线性动力学模型,系统地分析了机组导轴承的振动特性和水轮机转轮的动态稳定性。研究表明,各导轴承运动振幅随转子质量偏心的增大不断变化；水轮机转轮受到非线性密封力作用后发生自激振动,呈现出复杂的动力学行为；密封结构的各主要参数对机组主轴系统稳定性有很大的影响。