针对铁路安全运输中铁道线路上扣件系统检测存在的低效率和准确率不高的问题，提出一种基于扣件系统粗定位和视觉跟踪精确定位相结合的方法实现扣件状态的实时自动检测算法。该方法利用轨枕区域对光照反射的平均灰度强度和区域内灰度的投影残差实现扣件区域的粗定位，将定位到的轨枕区域设置为扣件区域的粗定位坐标。然后，采用模拟视网膜采样模式的基于结合像素和图像子块的局部二元模式在扣件区域周围采样提取正、负样本对应的特征，利用朴素贝叶斯分类器在线学习和更新跟踪扣件区域的精确位置。最后，对跟踪到的扣件区域精确位置上提取的特征通过分类来检测扣件系统的状态。在铁路视频数据库上的实验结果表明，该方法能实时跟踪到铁路图像中的扣件区域的精确位置，并能自动检测扣件系统的状态。提出的算法具有较高的检测正确率和实时的跟踪速度达到28帧每秒。因此，对于铁路扣件状态的实时自动检测，提出的算法是一种有效和鲁棒的检测方法。