行星齿轮传动系统由于具有传动比大,结构紧凑的优点,被广泛应用到工业机械中。行星齿轮结构作为机械传动系统中重要的组成部分,如果发生故障,将可能引起重大事故的发生。因此,对行星齿轮传动系统进行状态监测和故障诊断具有重要的工程意义。近年来提出的稀疏分解算法在故障信号提取方面取得了不错的效果。本文围绕稀疏分解理论,对行星齿轮传动系统中的齿轮、轴承两个核心部分进行了故障信号分析和故障特征提取研究。主要内容如下:（1）本文以行星齿轮传动系统为研究对象,从信号处理角度出发分析了不同工况和不同故障下轴承和齿轮的振动信号形式。并研究了轴承和齿轮在不同故障下的故障信号调制形式。根据行星齿轮系统实际运转工况,建立行星齿轮仿真试验台,并设置不同工况和负载,应用采集系统对故障信号进行采集。（2）本文通过对稀疏分解算法进行研究,改进了正交匹配追踪算法计算效率较低的问题,并引入残差比阈值概念,通过观察残差比阈值变化规律确定了最优稀疏度,提高了应用稀疏分解算法提取故障信号的精度。之后应用频谱分析和包络分析结合故障特征频率实现故障类别的判别。通过仿真和试验分析验证了上述方法的有效性。（3）在故障特征频率未知的情况下,应用上述方法不能实现故障类别的判断,所以引入稀疏分类算法对未知故障频率情况下类别的判断。为了减少噪声对稀疏分类效果的影响,本文结合经验模态分解对作为训练信号的故障信号进行预处理,突出训练信号中故障特征成分,使得训练信号之间有更好的辨识度。本文通过应用多种故障信号对上述方法进行仿真和实验分析,证明了上述方法的有效性。