铁路系统是我国交通系统中的重要组成部分,其运行环境复杂多变,经常受到雨雪和脏污的影响,并且轨面载荷也随着机车重量的不同而实时变化,从而使得钢轨表面的缺陷种类十分繁复。由于监督式深度学习方法在钢轨表面缺陷检测应用中存在缺陷样本不足和正负样本不平衡的问题。基于前沿的深度学习方法提出了三阶段的钢轨表面缺陷检测算法RSDD-Net（钢轨表面缺陷检测网络）,包括用于轨面定位与提取的RC-Net（钢轨表面裁剪网络）,用于轨面缺陷分割的DR-VAE（去缺陷变分自编码器）以及用于轨面缺陷分类的MSDC（缺陷掩膜分类器）。根据原始轨检图像的特征复杂度,提出了简单有效的RC-Net回归模型,实现了对钢轨表面区域的准确提取。在深度生成模型Soft-Intro-VAE（软自省变分自动编码器）的基础上,提出了一种轻量级的语义分割架构DR-VAE,只需要正常样本进行自监督训练,即可实现铁路表面缺陷的语义分割。基于孪生神经网络的主体架构,结合自监督学习思想,提出更加适用于轨面缺陷分类的MSDC用于3个具体类别的轨面缺陷分类。首先,通过分析原始的轨检测图像复杂度,对目标检测网络进行了裁减并提出了只输出轨面顶点横坐标的回归模型RC-Net用于从轨检图像中定位和提取出轨面区域以便于后续的缺陷分割与缺陷分类。其次,缺陷分割模型DR-VAE在训练阶段通过D-RM（缺陷随机掩膜）将随机伪缺陷掩膜到正常轨面图像的随机位置以生成自监督信号。同时,DR-VAE中的解码器也作为一个判别器来实现自省式对抗训练。为了优化损失函数以适应复杂多变的轨面背景,DR-VAE使用SSIM（结构化相似性度量）作为像素损失,从而重建去除缺陷的轨面背景图像。在推理阶段,DR-VAE通过引入分布容量衰减因子来减少重建中的误差从而提高钢轨表面背景的还原度,最后利用原始图像和重建图像的残差图来实现钢轨表面缺陷的语义分割。然后,提出了用于轨面缺陷分类的MSDC模型。该模型架构主要分为三部分,包括特征提取框架,参数微调框架以及分类推断框架。其中,特征提取框架通过自编码器对图像编码与解码的过程使得模型学习到更加一般性的特征向量。参数微调框架通过特征提取网络在轨面缺陷数据集上的权重参数微调,使得模型更适合提取有利于轨面缺陷分类的抽象特征。推断框架通过比较支持集与待分类缺陷图像的归一化特征向量的余弦相似度来识别缺陷类型。最后,通过将RC-Net、DR-VAE与MSDC进行模型级联得到了三阶段的轨面缺陷检测模型RSDD-Net。通过P-R曲线研究了各个子模型中的超参数对模型性能的影响并确定了子模型的最优超参数。通过对比实验研究了各个子模型的主要性能指标。综合实验表明,RSDD-Net的缺陷检测结果能够满足实际需求,具有一定的应用价值。