滚动轴承作为旋转机械中关键的零部件之一,发生故障影响设备的运行状态,造成经济损失,引发严重的事故。由于机械设备高度复杂,故障诊断中传感器采集到的振动信号呈现非线性、非平稳特征,传统的经验模态分解等信号处理方法在处理这些振动信号时表现出一定的局限性;同时,实际中能够获得的故障样本数目有限,造成故障数据不平衡,对模型的学习过程产生负面影响。针对以上两个问题,本文的主要工作内容如下:（1）研究基于变分模态分解（Variational Mode Decomposition,VMD）的特征提取方法,针对VMD参数需要预先设定的问题,提出以VMD的IMF（Intrinsic Mode Function,IMF）分量重构信号与原始信号的相关系数为阈值确定VMD参数K的选择方法,通过对含噪信号、间断信号和调制信号的分解加以验证。对比经验模态分解（Empirical Mode Decomposition,EMD）,VMD分解不易产生模态混叠,更有优越性。（2）提出基于VMD和蝙蝠算法（Bat Algorithm,BA）优化极限学习机（Extreme Learning Machine,ELM）的滚动轴承故障诊断方法。通过分析VMD模态数K与故障识别率的关系说明参数K的选取方法是合适的,能够取得满意的故障识别率。针对极限学习机隐含层神经元数、输入权值和偏置等参数影响其泛化性能和鲁棒性,采用蝙蝠算法对其进行优化。在不同信噪比、小样本情况下,对比VMD与EMD和EEMD信号处理方法,分别以能量、排列熵、能量和排列熵结合作为滚动轴承的故障特征研究故障识别率。实验结果表明,相比文中其他特征提取方法,本文以能量和排列熵作为故障特征的VMD和BA-ELM的滚动轴承故障诊断方法在鲁棒性和小样本数据下具有更好的性能。（3）针对故障数据不平衡问题,提出一种基于改进型Wasserstein生成对抗网络（Wasserstein GAN with Gradient Penalty,WGAN-GP）和卷积神经网络（Convolutional Neural Network,CNN）的故障诊断方法。实验结果表明,基于WGAN-GP的方法比基于原始生成对抗网络（Generative Adversarial Network,GAN）的方法有更高的准确率,同时具有良好的鲁棒性。对比了CNN与堆叠稀疏编码器（Stacked Sparse Auto-Encoder,SSAE）的分类效果,表明CNN在不平衡数据分类上具有更好的性能。WGAN-GP结合CNN的故障诊断方法能有效解决不平衡数据问题。