随着高速铁路的飞速发展和全面普及,保证列车的行车安全变得越来越重要。基于深度学习的机器视觉技术在目标检测领域不断取得新的成就,为铁路异物检测提供了重要的理论支持。现有的目标检测算法在铁路侵限异物检测任务中存在小目标检测精度不理想的问题,本文基于深度学习的目标检测算法展开以下几个方面的研究:（1）提出多尺度特征跳跃融合的SSD小目标检测算法。针对SSD算法对铁路侵限小目标的检测精度低的问题,提出高效的增强特征提取方法,通过将不同尺寸特征图与最后一层特征图进行融合提高网络模型的特征提取性能,使得最后一层特征图富有更多的细节和语义信息。其次,特征融合部分提出新的特征金字塔模型,对不相邻的深层特征图进行反向特征融合,在高效利用深层特征语义信息丰富的特点的同时加快了网络的检测速度。改进后的算法对铁路侵限数据集中的小目标检测性能有效提升。（2）提出基于密度图模块的CenterNet遮挡小目标检测算法。针对基于锚框的目标检测算法存在由于遮挡导致锚框重叠的漏检问题,提出生成全局热力图高效响应所有的关键点信息,能够获取更多的检测目标的位置和数量信息。其次通过使用椭圆高斯核函数代替圆形高斯核函数进行标签编码,并引入包含距离损失的损失函数获得了更加贴合目标的高质量预测框。改进后的检测模型有效降低了铁路遮挡目标检测的漏检率。（3）制作铁路侵限数据集,并联合迁移学习交替训练网络模型。首先,将铁路视频监控等图像数据按照VOC数据集格式制作新的铁路侵限数据集;其次,通过基于参数和基于实例的迁移学习方法交替训练改进模型。经过迁移学习后的改进模型在铁路侵限小目标检测任务中具有较好的泛化能力。（4）铁路侵限异物监测系统的设计与实现。本文为了提高铁路侵限小目标的检测精度,通过分析铁路环境下异物检测系统的功能需求和非功能需求,研发了铁路侵限异物监测系统平台。该平台不仅能够对铁路环境进行实时监控,还具有对视频或图像中的小目标以及遮挡目标的检测功能,能够满足铁路侵限小目标监测的实际应用需求。