齿轮和滚动轴承作为机械设备中重要的零部件,其在复杂运行工况下可能会出现故障,而如何在早期故障阶段或强背景噪声下提取故障特征信号一直是旋转机械故障诊断领域的难点。针对旋转机械故障信号的稀疏性和结构特性,本文深入研究基于故障特征增强和非凸约束的故障诊断方法。针对齿轮局部型故障中产生的周期性振动冲击信号,提出一种基于滑窗相关和重叠群稀疏(OGS)的故障特征提取方法。该方法先利用移不变K-SVD算法学习到的故障冲击模式与原始信号进行滑窗相关,从而对隐藏在噪声中的冲击分量进行特征增强,再通过非凸正则化的重叠群稀疏算法直接从相关信号中提取包含故障周期特征的群稀疏成分,并进一步重构出冲击信号。深入分析了所提方法中各参数取值对处理结果的影响,通过齿轮局部故障仿真和实验验证了所提方法的有效性,并且在正常齿轮信号上的分析也验证该方法不会产生误诊。对于滚动轴承故障诊断而言,稀疏表示方法的效果很大程度上取决于信噪比(SNR)和构造的字典,针对这些挑战,本文提出了一种基于特征增强和非凸正则化的故障诊断方法。该方法利用冲击响应信号中波峰波谷以相同间隔交替出现的结构特征,构造了一种结构特征矩阵以增强冲击特征。此外,为了避免字典构造问题以及提升信号稀疏性,提出了融合Moreau增强全变分降噪(FMTVD)罚函数,该目标函数结合了信号自身及其微分的稀疏特性,并根据交替方向乘子方法(ADMM)推导了优化求解方法。研究发现所提方法不仅能够有效处理滚动体滑移问题,而且可以分析多固有频率信号。通过两步策略,所提方法有效地提取了淹没在噪声中的滚动轴承的弱故障特征,而且在仿真信号和滚动轴承实验数据中均取得较好的诊断效果。