铁路在我国是一种非常重要的交通运输形式,在整个交通运输体系中处于核心地位。同时,铁路作为一种重要的基础设施,也是人们日常出行选择的主要交通方式之一。随着铁路建设的快速发展,从普速铁路到如今的高速铁路,中国铁路经历了质的飞跃。但与此同时轨道线路的安全问题也愈发突出,这使得对轨道线路的安全检测需求也日益增加,其中轨道异物检测便是检测任务中的重要内容之一。但是,目前关于铁路异物检测的研究主要针对大型物体的入侵,而对于道床上小型物体的入侵则研究甚少,目前主要采用人工巡检的方式进行检测,效率很低。本文针对无砟轨道道床上的异物,深入探索基于深度学习的无监督轨道异物检测方法。本文所提出的方法仅在正常样本上进行训练,无需异物样本参与训练,这种无监督的工作方式能够克服异常样本数量少、难以获取的困难,具有重要的理论与实际意义。本文的主要工作有以下:（1）提出了基于像素级分布外样本（Out-of-distribution,OOD）检测的轨道异物检测方法。该方法将轨道异物检测看作一种像素级的OOD检测问题,通过利用正常样本进行训练来检测OOD样本。具体而言,首先构建包含多条线路异物的无砟轨道图像数据集（Ballastless Track Dataset,BTD）,并对数据集进行像素级标注。之后,构建基于正常样本的语义分割模型,然后利用该检测方法检测轨道异物图像,并在所构建的轨道异物数据集BTD上进行实验验证。实验结果表明:该方法可以有效地检测出轨道图像中异常物体的具体位置,并且对与训练集同线路轨道图像的检测效果要优于对不同线路轨道图像的检测效果。最后,为了解决精确率较低的问题,本文提出了基于概率比、基于组合类标签、基于不确定性的三种解决思路,实验证明通过分析样本的不确定性可以提高轨道图像异物检测的精确率。（2）提出了基于GANomaly的轨道异物检测方法。该方法受GANomaly的启发,利用重构正常图像的方式,通过对重构图像与原始图像的差异分析来检测测试图像中异物的具体位置。该方法训练阶段仅需利用正常不含异物的图像数据集对生成对抗网络（Generative Adversarial Networks,GAN）进行训练,使网络输出无限接近于正常图像的“假图像”,即重构图。在测试阶段输入含异物的轨道图像时,由于该生成对抗网络没有学习过如何恢复异常区域,从而网络难以较好重建出图像中的异常区域,而正常区域则可以较好恢复,因此可以通过计算原图像与重构图像的L1距离得到异物的具体位置。实验证明该方法可以有效地检测出图像中异常物体的具体位置。同时,为了解决与背景颜色相近的异物检测效果不理想的问题,本文进一步提出了两种改进策略,以更好地进行异物检测。