行星齿轮传动系统由于其结构独特、传动高效,被大量应用于众多领域的装备中。而其工作环境多种多样,运转负荷时常变化,难以避免产生各种机械故障。其中,行星齿轮传动系统轮齿磨损故障作为典型的分布式故障潜伏于系统全生命周期中,并且由于系统结构复杂,对其开展有效的状态监测及故障诊断非常困难。针对行星齿轮传动系统磨损故障损伤机理复杂不明,故障特征难以识别的问题,本文由系统动力学入手,聚焦行星齿轮传动系统轮齿磨损故障的产生及发展机理、动态特性规律以及故障特征提取手段等方面,探究能够有效甄别行星齿轮轮齿磨损故障的方法。本文主要研究内容如下:1)针对行星齿轮传动系统轮齿磨损故障产生、发展机理复杂不清的问题,由齿轮齿面常见磨损故障形式入手,基于传统Archard磨损模型及Hertz接触理论,研究了传动系统轮齿磨损机理,建立了齿面磨损深度计算模型。并在此基础上进一步分析建立了行星齿轮传动系统轮齿磨损故障下的时变啮合刚度模型和时变传递误差模型,为系统动力学模型提供了故障状态下的内部激励。2)综合虑及轮齿磨损故障下的行星齿轮时变啮合刚度、时变传递误差、齿侧间隙等关键因素,建立了行星齿轮平移-扭转18自由度动力学模型,并求解得到行星齿轮传动系统磨损故障动力学响应。以行星齿轮传动系统太阳轮磨损故障为例,探究不同故障程度、不同转速和不同载荷条件下齿面磨损故障发生时的系统动态特性变化规律,为磨损故障特征的提取与诊断提供了有力的理论支撑。研究发现:行星齿轮传动系统在轮齿磨损故障下的位移及啮合力信号均产生了明确故障特征,可以通过时域、频域分析完成轮齿磨损故障诊断。3)基于系统轮齿磨损故障特点,应用磨损故障动态响应构造仿真故障信号。借鉴传统变分模态分解（Variational mode decomposition,VMD）故障提取方法,搭建了VMD-KI-Hilbert包络方法。通过采用不同信噪比的仿真信号,对比传统故障诊断方法进行故障诊断,结果表明,所提方法可以有效排除噪声干扰并提取故障特征。4)通过行星齿轮传动系统故障实验台开展了不同工况下的太阳轮磨损故障实验,基于实验测量振动信号,应用所提方法,有效完成了行星齿轮传动系统磨损故障诊断。并对比研究所得动力学规律,验证了所建模型和所提方法的正确性与有效性。