伴随着现代铁路的快速发展，如何准确高效地对在役铁轨进行无损检测变得越来越重要。现有的铁轨检测技术主要是目检法，涡流检测和超声检测，这些方法以人工检测为主，劳动强度大，因此迫切需要一种新型的自动化检测方案。本文基于计算机视觉理论设计了一套铁轨表面缺陷检测方案，通过图像处理，模式识别等技术来实现轨道表面缺陷的自动检测，具有成本低且检测效率高的优点。本文根据传统的计算机视觉理论模型，完成了铁轨表面缺陷检测系统的搭建，包括光源照明系统、图像采集系统以及控制系统。其中：照明系统使用线光源，为了凸显缺陷特征，采用低角度照明方式；图像采集系统选用了高速线阵CCD，可以满足高速环境下图像采集的需求；控制系统则用于调节图像采集系统的工作方式，使图像采集速率与列车速度同步。根据系统的指标要求以及铁轨表面缺陷的特点，本文设计了钢轨表面缺陷图像处理算法。对轨面缺陷图像划分为三个模块进行处理，分别为轨面图像预处理模块，轨面缺陷提取模块，轨面缺陷特征及识别模块。每个模块都对算法进行了改进和优化，提高了系统处理的效率和精度。论文最后通过在实验室搭建实验平台，模拟列车的高速运行环境，对系统整体性能进行验证。实验结果表明，系统能够在高速环境下准确识别出缺陷，并且对缺陷能够进行正确分类，具有一定的适用性。