齿轮传动系统在汽车、船舶、航空等众多领域中应用广泛,故障齿轮的振动信号总会表现出幅值调制和频率调制的特征,利用振动信号调制边带的变化规律来进行齿轮故障诊断具有重要的研究意义和工程实用价值。基于单级定轴轮系的动力学模型,考虑系统存在谐波形式的转速波动,理论上分析了齿轮在平稳型、冲击型故障时振动响应信号的频谱特征,并提出了新的平稳型故障振动信号调幅调频数学模型。所提模型在调幅部分和啮合频率载波部分中都有频率调制,且调幅部分的频率调制强度与转速波动率有关、载波部分的频率调制强度与转速波动率和故障齿轮齿数的乘积有关。集中参数模型数值仿真和单级定轴齿轮箱实验中振动加速度信号的调制边带特征与理论分析结果一致。基于齿轮故障调幅调频数学模型提出了一种啮合频率附近振动信号的通用精确幅值解调新方法。该方法利用希尔伯特变换构造优化目标函数、平方解调构造约束方程、最小二乘优化算法求解调幅参数,可以重构出欠调制和过调制信号的真实调幅。仿真表明,所提幅值解调方法的精度高、抗噪性好,且不会产生多余的频率成分。对于过调制信号的解调效果远好于希尔伯特变换解调法、基于平方解调和最小二乘优化算法的新幅值解调法。实验表明,轻微平稳型故障时啮合频率附近的振动信号表现为欠调制,严重平稳型故障则会导致振动信号出现过调制,根据解调结果的差异可以判断齿轮箱的故障程度。对于不对中加断齿的复合故障实验信号,啮合频率越靠近共振区,振动信号就越容易出现过调制现象。在齿轮故障振动信号的幅值解调方法的基础上,进一步提出一种频率解调方法。该方法利用迭代希尔伯特变换处理幅值解调之后的剩余信号,利用第一类贝塞尔函数恒等式构造约束方程,通过最小二乘优化算法求解调频参数,实现了频率解调和调频信号重构。仿真表明,加噪时希尔伯特变换解调频失效;处理幅值过调制的调幅调频信号时基于贝塞尔函数和最小二乘优化算法的新频率解调法失效;而所提方法求解的调频参数精度高。实验表明,平稳型故障越严重,调频信号的阶次越高、调制强度越大;不对中加断齿的复合故障,啮合频率越靠近共振区所提调幅调频组合解调方法的重构误差就越大,但可根据残余信号诊断冲击型故障,为齿轮故障诊断提供了一种新的思路。