当齿轮传动系统某一部件出现故障时,常常会诱发其他故障的发生和恶化,再受到信号传递路径以及其正常啮合振动的影响,不同激励源产生的振动信号相互耦合,增加了故障诊断的难度。深入研究齿轮系统各类故障振动响应的演化机理和特征提取方法,具有重要的理论研究意义和工程应用价值。建立齿轮传动系统动力学模型,揭示了齿轮啮合频率高阶特征及其调制边频带的产生机理。齿轮受载后的静弹性变形与啮合动刚度的相互作用以及系统的非线性反馈是啮合频率高阶特征产生的主要原因。平稳型故障导致的齿轮副周节位移误差激励与啮合动刚度的相互作用诱发故障齿轮转频调制啮合频率的边频带;冲击型故障激励的脉冲力序列诱发齿轮冲击故障频率调制轮系固有频率,并与啮合动刚度负反馈作用使振动响应中出现“虚假”共振峰,但所有的共振频带都是被冲击故障频率在全频带内等间隔离散化。建立了正常行星轮系振动响应耦合调制信号模型。受啮合点与固定位置传感器之间传递路径函数和啮合力在传感器坐标方向投影函数的影响,传感器采集到的振动响应表现出行星架转频调制啮合频率的等间隔边频带特征。传递路径函数和方向投影函数均是周期函数,可用傅里叶级数展开,基频为行星架的转频,展开的阶次决定了调制边频带的宽度。均布式行星轮系的振动响应只在行星轮个数的整倍数频率处存在幅值,当啮合频率及其高阶倍频是行星轮个数的整倍数时,啮合频率成分有幅值,且调制边频带对称分布;反之,啮合频率成分的幅值为零,调制边频带非对称分布。提出了一种基于啮合频率和频谱校正技术的齿轮箱振动响应阶次跟踪分析方法。该方法融合了时频分布的矩估计和峰值搜索法,但能克服矩估计不适用于多分量信号的提取和峰值搜索法在时频分辨率上的限制;通过提取啮合频率成分,再间接获得瞬时转速成分,克服了振动加速度传感器采集信号中频率较低的转频成分幅值小,难以直接提取的难点。经过能量重心法校正后,可获得高精度的齿轮箱瞬时转速估计值,显著提高阶次分析的频率和幅值估计精度。风电齿轮箱振动信号阶次跟踪仿真分析中,提取的输出轴瞬时转速估计值的最大相对误差仅为0.024%,前四阶啮合频率幅值的估计值的最大相对误差仅为2.09%。汽车变速器试验和风电复合式齿轮箱的工程应用验证了该方法的有效性和实用性。提出了一种新的齿轮箱混合故障耦合调制信号分离方法,该方法将具有明确物理意义的平稳调制字典和冲击调制字典、相关滤波法、频谱校正和优化匹配追踪有机的结合在一起,应用于齿轮和轴承故障诊断。建立的平稳调制字典和冲击调制字典融合了齿轮系统故障机理、齿轮箱的结构和运行参数、实测振动信号的特征,物理意义明确,兼具解析字典和学习字典的优点。应用比值校正法从实测振动信号中获得谐波原子参数的精确解,优化平稳调制字典,并对匹配分解系数进行幅值恢复,提高了平稳调制成分的分离精度。基于相关滤波法的冲击响应原子参数优化,能大幅度地降低冲击调制字典的冗余度;分段匹配追踪方法,降低了稀疏系数求解过程中内积计算的点数,达到提高信号稀疏分解速度的目的。通过仿真分析和试验测试验证了所提方法具备分离齿轮和轴承混合故障信号的能力。