本论文结合国家高技术研究发展计划(863)项目“超临界、超超临界大型汽轮发电机组状态监测与故障诊断技术及其系统研究”(编号：2008AA04Z410)和国家自然科学基金项目“基于经验模式分解的旋转机械振动模式分析方法的研究”(编号：11072214),开展了故障转子在典型故障条件下振动模式分析方法的研究。论文定义了包含故障转子系统固有频率的固有模式函数(IMF)为故障振动模式,构建了转子系统典型故障模拟试验平台,并研究了基于改进希尔伯特-黄变换(HHT)的不对中、动静件碰摩故障转子振动模式提取方法。进行了转子典型故障的分类方法研究。开发了基于改进HHT的超临界汽轮发电机组状态监测软件,并进行了现场数据分析。论文的主要研究工作和章节安排如下：第1章分析了转子振动信号特征提取方法的研究现状,并将HHT方法引入转子振动信号特征提取中。阐述了经验模式分解(EMD)、HHT的研究现状,分析了HHT用于转子振动信号特征提取时存在的不足。分析了转子典型故障识别方法,并论证了模态分析在故障识别中的适用性。建立了基于HHT的故障转子振动模式分析框架。最后给出了本文的选题背景、研究内容、创新点和总体框架。第2章分析了转子系统故障诊断的一般流程,指出了引入模态分析方法进行故障诊断的必要性。定义了包含故障转子系统固有频率的IMF分量为故障振动模式,并给出了故障振动模式分析的一般流程。构建了转子系统典型故障模拟试验系统,用于理论方法的试验验证。提出了一种基于CTSA-HWT-RDT的运行模态分析(OMA)技术,成功提取系统的前几阶固有频率。通过检测IMF中包含的系统前几阶固有频率,确定了IMF与旋转机械的振动模式分量(正常振动模式和故障振动模式)之间存在的对应关系。以动静件碰摩故障为例,通过OMA方法提取故障转子的固有频率,并对响应进行EMD分解,发现了故障转子系统固有频率在各阶IMF中分布的变化规律。第3章对不对中故障机理进行了分析。针对不对中转子系统亚谐波共振条件下在频域范围内的特征与裂纹转子类似的特点,提出了一种在全频率(FS)域内的不对中故障特征提取新方法。针对不对中转子系统非亚谐波共振条件下故障特征不明显的特点,提出了一种基于多维EMD (MEMD)固有频率提取和轴系振型分析的不对中故障振动模式分析方法。转子试验台的试验结果表明了方法的有效性。第4章针对原始HHT在处理频率成分连续而丰富的信号时,无法准确估计信号瞬时频率的不足,提出了一种基于能量占优滤波HHT (BF-HHT)的故障特征提取新方法,该方法能够准确提取原信号高频范围内的瞬时频率特征。研究了一种基于谱峭度HHT (SK-HHT)的故障非平稳性检测方法,用于复杂多频信号特征提取。转子试验台的试验结果表明了方法的有效性。第5章分析了支持向量机(SVM)的小样本数据分类优势。针对全周碰摩和局部碰摩故障的时频域特征相似,传统时频域分析方法很难提取有效故障特征的问题,研究了一种基于EMD-SVD-SVM的全周碰摩与局部碰摩故障识别方法。针对不对中、裂纹、初始弯曲等转子系统典型故障的故障振动模式分布规律类似的特点,研究了一种基于MEMD-ICA和SVM的特征向量获取与分类方法。第6章阐述了所开发的基于改进HHT的超临界汽轮发电机组状态监测软件系统,并使用该系统对工业现场数据进行了测试与分析,验证了本文所提方法的工程适用性。第7章给出了本文研究的主要结论,并对今后研究工作提出了展望。