论文部分内容阅读
摘 要：针对高速铁路接触网支持装置和定位装置的开口销钉缺失识别问题，提出了一种基于YOLO v3级联网络和集成学习的故障识别方法。首先利用YOLO v3级联网络对接触网支持装置和定位装置中开口销进行精确定位，然后集成多个弱分类器，实现对开口销缺失情况的识别。实验结果表明，本文方法能准确高效地识别接触网开口销的缺失故障。
关键词：YOLO v3; 高铁接触网; 开口销钉缺失; 集成学习
引言
开口销是接触网最重要的连接零件之一[1]。由于服役于露天环境，且长期处于弓网作用中，开口销容易发生脱落等故障，进而使受流质量劣化，甚至出现打弓等事故[2]。因此，定期对开口销进行检测，及时排查开口销的脱落故障，并采取相应的维修措施，是保障牵引供电系统可靠运行的重要环节。
作为高速铁路牵引供电6C系统[3]的重要组成部分，接触网悬挂状态检测监测装置（4C）通过安装在接触网检测车顶部的高清摄像头获取接触网图像，并基于图像识别技术实现对接触网关键零部件状态的高效检测。基于4C系统，国内对开口销的缺失故障识别进行了大量的研究。文獻[4]采用SIFT和算法实现旋转双耳的定位，再依次通过水平投影和垂直投影实现双耳销钉定位和状态识别;文献[5]先使用Hough直线检测定位斜腕臂，随后根据开口销相对于斜腕臂的实际分布，采用Hough圆检测精确定位双耳、短斜撑上下端等连接处的开口销，最后比较各处销钉相对螺母的形态实现开口销状态的检测。以上算法将待检测开口销的几何特征与正常开口销进行比对，完成开口销的状态识别，这些方法适用于背景简单、特征突出的图像的检测，而实际4C系统存在光源衰耗、检测车辆振动等干扰，装置的成像质量无法稳定，且铁路沿线地形多变，4C图像的背景也往往十分复杂，仅依靠浅层特征识别的鲁棒性难以保障。
深度学习以自动提取特征的优点在图像分类、目标检测、语音识别等领域得到了大量的应用。本文提出一种基于YOLO v3[6]级联网络和集成学习[7]的开口销缺失识别方法：首先通过YOLO v3网络对旋转双耳、短斜撑上下端、腕臂底座等开口销所在部位进行定位;然后基于上述定位结果，再次使用YOLO v3实现对开口销钉的精确定位;随之采用多个不同分类器对待测开口销的状态进行分类，最后集成所有分类结果完成对开口销状态缺失状态的识别。
1 开口销定位
1.1 YOLO v3网络简介
YOLO v3采用Darknet53作为特征提取网络，同时，借鉴了FPN网络的思想，在前向预测时通过上采样融合浅层和深层特征图，并在13×13、26×26和52×52三种特征尺度进行预测，针对每种尺度，设置了三种目标框，则对应S×S尺寸的输出特征层，最终的输出维度为S×S×3×（4+1+C），其中C为网络检测的目标类别数。
YOLO v3网络损失函数定义如下：
式中，S为输出特征图大小;当目标位于第i个像素的第j个边框时，=1，反之=0;当第i个像素的第j个边框中无目标时，=1，反之=0;为坐标系数，为背景置信度系数，classes为类别集合;（x，y）和分别为修正后的预测边框中心坐标和实际边框中心坐标;（w， h）和分别为修正后的预测边框长宽和实际边框长宽;C和为预测边框置信度和实际边框置信度;和为预测类别概率和实际类别概率。
1.2基于YOLO v3的开口销定位
4C图像中开口销的尺寸较小，直接对其进行定位，容易遗漏。故本文采用两个YOLO v3网络级联的结构，先定位开口销所在部位，以此再对开口销进行精确定位。
使用YOLO v3网络需要先对网络进行训练。由于接触网样本有限，为避免过拟合的情况发生，采用迁移学习的方法对网络进行训练。以训练定位开口销所在部件的模型为例，具体流程如下：
步骤1 令网络目标类别的类别数为7，即开口销所在旋转双耳、定位管支撑、腕臂支撑上下端、绝缘子上下底座等区域，并使用在ImageNet数据集上训练的网络参数初始化网络;
步骤2 使用标注的接触网数据对初始化后的网络进行微调，通过反向传播算法最小化式（1），经过多次迭代计算收敛至设定较小值，即可结束训练。
训练完成后，使用网络对开口销所在的7个部位进行检测。基于YOLO v3的检测流程如下：
步骤1 将待检测接触网图像缩放至416416像素，使用上述网络进行前向计算。网络最终输出旋转双耳、定位管支撑、腕臂支撑上下端、绝缘子上下底座等区域的边框、相应的边框置信度以及类别;
步骤2 基于上述输出结果，使用非极大值抑制即可实现旋转双耳等开口销所在部件的定位。
对上述定位获得的区域中的开口销进行标注，并按照上述训练过程训练定位开口销的网络模型。训练完成后，将第一步定位结果作为输入，重复上述检测过程即可实现开口销位置的检测。
2开口销缺失识别
基于上述过程获得的开口销的精确位置，可进一步判断开口销缺失情况。由于开口销姿态多样，手工特征难以准确描述所有角度的状态，需要通过图像语义进行判别，而实际缺失的开口销样本较少，直接训练卷积神经网络挖掘语义信息容易过拟合，故本文提出一种基于集成学习的开口销缺失识别方法，该方法先采用MobileNet网络、HOG算子和Gabor算子对精确定位后的开口销区域进行特征提取，随后各由一个线性SVM进行分类，最后综合所有分类器的判断结果，得出开口销的缺失情况。集成学习网络结构如图1所示。
2.1MobileNet网络简介
MobileNet[12]的基础单元为可分离卷积，可分离卷积由深度卷积和点卷积构成。深度卷积不同于标准卷积，其每个卷积核对应一个输入的特征通道，由此实现了卷积运算时的特征通道解耦。点卷积则是通道大小为1×1的标准卷积。标准卷积与可分离卷积的区别如图2所示。 图中，K表示卷积核的大小，M表示输入特征图的通道数量，N表示输出特征图的通道数量。不难看出，当输入和输出的特征图大小相同时，可分离卷积的运算量为标准卷积的1/N+1/K2，由此极大地降低了计算复杂度，减少了模型的体积。
2.2基于集成学习的开口销缺失识别
在使用集成学习分类器对开口销的缺失状态进行判别前，需要先对其进行训练。集成分类器的具体实现过程如下：
（1）制作基于MobileNet网络的特征提取算子。本文使用的MobileNet为28层分类网络，为简化训练过程，同时降低过拟合风险，先在ImageNet进行预训练，网络收敛后去掉尾部的Softmax层，将剩下的网络作为特征提取算子;
（2）训练多个分类器。将数据集分为三部分：训练集、验证集和测试集。在测试集上，采用HOG算子、Gabor算子和MobileNet网络分别提取开口销的特征，用以训练线性SVM，训练直至收敛;
（3）分类器集成。采用Blending[13]结合算法，在验证集上，将上述训练后的多个分类器的分类结果作为输入数据集，进一步训练分类器的权重参数，由此实现集成分类器的训练。
基于上述集成分类器，可得每个待测开口销区域的缺失情况的预测结果CL，若CL>0.5，则判定开口销缺失，否则，开口销正常。
3 实验
采用4C系统获取的接触网支持装置、定位装置、悬挂装置图像验证本文所述定位方法和识别方法的有效性。采用python语言进行编程，使用的深度学习平台为pytorch，模型的训练平台为Intel Core i9-9900X和NVDIA GTX2080Ti。
3.1定位实验
在4C图像库中随机抽取2000张，标注开口销存在的旋转双耳、定位管支撑、腕臂支撑上下端、绝缘子上下底座等7处位置，随后将样本划分为训练集和测试集，各1000张，训练集用以训练初步定位所需的YOLO v3网络。先采用ImageNet进行预训练，随后采用4C数据进行微调训练，迭代次数设为7000次。网络训练完毕后，使用测试集数据进行测试。定位的效果用交并比（Intersection over Union， IoU）来衡量，交并比定义如下：
由于初步定位仅要求不漏掉开口销的区域，故即可。初步定位的结果如图3所示。
在初步定位的区域中标注开口销，按照同样的方法训练另一个YOLO v3网络，以精确定位开口销。训练完毕后，将上述测试集定位的区域作为输入用以验证网络的准确率。实验时，当时，则认为定位成功，否则认为定位失败。开口销精确定位的结果如图4所示。
为验证本文所述两次YOLO v3网络的性能，将之与直接使用YOLO v3网络检测的结果、常用機器学习检测算法以及其它主流的基于深度学习的目标检测算法的检测结果进行对比，所有算法输入的图像尺寸均为416416像素。定位成功的判别条件同上，则各算法定位开口销的准确率如表1所示。
从表中可以看出，对于开口销的检测，采用级联分类器能显著提升定位的准确率，同时，基于深度神经网络的算法检测效果明显优于传统手工特征结合SVM分类器的检测效果，在上述几种主流的深度学习检测算法中， Faster R-CNN[14]级联网络的准确率最高，但检测速度最慢，相较而言，的YOLO v3级联网络兼顾较高的准确率和检测速度，更适用于开口销的定位。
3.2开口销钉缺失识别实验
通过上一步开口销钉定位实验，获得开口销钉图像各5448，其中正常开口销图像5383张，缺失图像仅65张，为便于训练，通过镜像、图像增强等方法将缺失图像扩充至200张。随后将开口销正常和缺失样本进行划分，其中，训练集、验证集和测试集分别占总数据集的1/2、1/4和1/4。再依据2.2节训练集成分类器并进行测试。为准确表明开口销缺失识别的准确率和误检率，采用召回率和精确率来衡量识别结果。召回率和精确率的定义如下：
其中，P为精确率，R为召回率;TP为故障样本被预测为故障样本的数目;FP为正常样本被预测为故障样本的数目;FN为故障样本被预测为正常样本的数目。
为验证集成分类器的识别效果，将之与单一分类器的识别结果进行比较。则各分类器的识别结果如表2所示。
从识别结果可以看出，集成分类器的分类能力最强，其召回率和精确率均在90%以上，MobileNet网络结合SVM的效果次之，好于手工特征结合SVM的分类效果。结果表明通过迁移在大数据集中训练得到的参数，然后使用少量的故障数据微调得到的深度神经网络即具有良好的泛化能力。此外，由多个分类器构成的集成分类器，较之单一分类器分类效果有显著的提升。
4 结论
本文对高速铁路接触网支持装置和定位装置的开口销钉缺失识别问题，进行了深入研究，提出了一种基于YOLO v3级联网络和集成学习的故障识别方法。该方法首先利用YOLO v3级联网络实现了对接触网支持装置和定位装置中开口销的精度定位，然后通过手工特征算子和预训练的MobileNet网络提取开口销钉图像的特征，最终由多个SVM弱分类器构成的集成分类器实现开口销的缺失识别。实验结果表明，本文方法能准确高效地识别接触网开口销的缺失故障，具有一定的工程应用价值。
参考文献
[1] 于万聚. 高速电气化铁路接触网[M]. 成都：西南交通大学出版社， 2003.
[2] 李德胜. 接触网系统对高速铁路行车安全的影响[J]. 中国铁路，2 011， （02）： 34-37.
[3] 高速铁路供电安全检测监测系统（6C系统）总体技术规范[S]. 2012.
[4] 钟俊平， 刘志刚， 张桂南， 韩志伟. 高铁接触网旋转双耳销钉状态检测方法研究[J]. 铁道学报， 2017， 39（06）：65-71.
[5] 钟俊平， 刘志刚， 陈隽文， 韩志伟. 高铁接触网悬挂装置开口销不良状态检测方法研究[J]. 铁道学报， 2018， 40（06）：51-59.
[6] Joseph Redmon， Ali Farhadi. YOLOv3： An Incremental Improvement[J/OL].arXiv.2018-4-8.https：//arxiv.org/abs/1804.02767.
[7] Sun Y ， Tang K ， Minku L L ， et al. Online Ensemble Learning of Data Streams with Gradually Evolved Classes[J]. IEEE Transactions on Knowledge and Data Engineering， 2019， 28（6）：1532-1545.
[8] Howard A G ， Zhu M ， Chen B ， et al. MobileNets： Efficient Convolutional Neural Networks for Mobile Vision Applications[J]. 2017.
关键词：YOLO v3; 高铁接触网; 开口销钉缺失; 集成学习
引言
开口销是接触网最重要的连接零件之一[1]。由于服役于露天环境，且长期处于弓网作用中，开口销容易发生脱落等故障，进而使受流质量劣化，甚至出现打弓等事故[2]。因此，定期对开口销进行检测，及时排查开口销的脱落故障，并采取相应的维修措施，是保障牵引供电系统可靠运行的重要环节。
作为高速铁路牵引供电6C系统[3]的重要组成部分，接触网悬挂状态检测监测装置（4C）通过安装在接触网检测车顶部的高清摄像头获取接触网图像，并基于图像识别技术实现对接触网关键零部件状态的高效检测。基于4C系统，国内对开口销的缺失故障识别进行了大量的研究。文獻[4]采用SIFT和算法实现旋转双耳的定位，再依次通过水平投影和垂直投影实现双耳销钉定位和状态识别;文献[5]先使用Hough直线检测定位斜腕臂，随后根据开口销相对于斜腕臂的实际分布，采用Hough圆检测精确定位双耳、短斜撑上下端等连接处的开口销，最后比较各处销钉相对螺母的形态实现开口销状态的检测。以上算法将待检测开口销的几何特征与正常开口销进行比对，完成开口销的状态识别，这些方法适用于背景简单、特征突出的图像的检测，而实际4C系统存在光源衰耗、检测车辆振动等干扰，装置的成像质量无法稳定，且铁路沿线地形多变，4C图像的背景也往往十分复杂，仅依靠浅层特征识别的鲁棒性难以保障。
深度学习以自动提取特征的优点在图像分类、目标检测、语音识别等领域得到了大量的应用。本文提出一种基于YOLO v3[6]级联网络和集成学习[7]的开口销缺失识别方法：首先通过YOLO v3网络对旋转双耳、短斜撑上下端、腕臂底座等开口销所在部位进行定位;然后基于上述定位结果，再次使用YOLO v3实现对开口销钉的精确定位;随之采用多个不同分类器对待测开口销的状态进行分类，最后集成所有分类结果完成对开口销状态缺失状态的识别。
1 开口销定位
1.1 YOLO v3网络简介
YOLO v3采用Darknet53作为特征提取网络，同时，借鉴了FPN网络的思想，在前向预测时通过上采样融合浅层和深层特征图，并在13×13、26×26和52×52三种特征尺度进行预测，针对每种尺度，设置了三种目标框，则对应S×S尺寸的输出特征层，最终的输出维度为S×S×3×（4+1+C），其中C为网络检测的目标类别数。
YOLO v3网络损失函数定义如下：
式中，S为输出特征图大小;当目标位于第i个像素的第j个边框时，=1，反之=0;当第i个像素的第j个边框中无目标时，=1，反之=0;为坐标系数，为背景置信度系数，classes为类别集合;（x，y）和分别为修正后的预测边框中心坐标和实际边框中心坐标;（w， h）和分别为修正后的预测边框长宽和实际边框长宽;C和为预测边框置信度和实际边框置信度;和为预测类别概率和实际类别概率。
1.2基于YOLO v3的开口销定位
4C图像中开口销的尺寸较小，直接对其进行定位，容易遗漏。故本文采用两个YOLO v3网络级联的结构，先定位开口销所在部位，以此再对开口销进行精确定位。
使用YOLO v3网络需要先对网络进行训练。由于接触网样本有限，为避免过拟合的情况发生，采用迁移学习的方法对网络进行训练。以训练定位开口销所在部件的模型为例，具体流程如下：
步骤1 令网络目标类别的类别数为7，即开口销所在旋转双耳、定位管支撑、腕臂支撑上下端、绝缘子上下底座等区域，并使用在ImageNet数据集上训练的网络参数初始化网络;
步骤2 使用标注的接触网数据对初始化后的网络进行微调，通过反向传播算法最小化式（1），经过多次迭代计算收敛至设定较小值，即可结束训练。
训练完成后，使用网络对开口销所在的7个部位进行检测。基于YOLO v3的检测流程如下：
步骤1 将待检测接触网图像缩放至416416像素，使用上述网络进行前向计算。网络最终输出旋转双耳、定位管支撑、腕臂支撑上下端、绝缘子上下底座等区域的边框、相应的边框置信度以及类别;
步骤2 基于上述输出结果，使用非极大值抑制即可实现旋转双耳等开口销所在部件的定位。
对上述定位获得的区域中的开口销进行标注，并按照上述训练过程训练定位开口销的网络模型。训练完成后，将第一步定位结果作为输入，重复上述检测过程即可实现开口销位置的检测。
2开口销缺失识别
基于上述过程获得的开口销的精确位置，可进一步判断开口销缺失情况。由于开口销姿态多样，手工特征难以准确描述所有角度的状态，需要通过图像语义进行判别，而实际缺失的开口销样本较少，直接训练卷积神经网络挖掘语义信息容易过拟合，故本文提出一种基于集成学习的开口销缺失识别方法，该方法先采用MobileNet网络、HOG算子和Gabor算子对精确定位后的开口销区域进行特征提取，随后各由一个线性SVM进行分类，最后综合所有分类器的判断结果，得出开口销的缺失情况。集成学习网络结构如图1所示。
2.1MobileNet网络简介
MobileNet[12]的基础单元为可分离卷积，可分离卷积由深度卷积和点卷积构成。深度卷积不同于标准卷积，其每个卷积核对应一个输入的特征通道，由此实现了卷积运算时的特征通道解耦。点卷积则是通道大小为1×1的标准卷积。标准卷积与可分离卷积的区别如图2所示。 图中，K表示卷积核的大小，M表示输入特征图的通道数量，N表示输出特征图的通道数量。不难看出，当输入和输出的特征图大小相同时，可分离卷积的运算量为标准卷积的1/N+1/K2，由此极大地降低了计算复杂度，减少了模型的体积。
2.2基于集成学习的开口销缺失识别
在使用集成学习分类器对开口销的缺失状态进行判别前，需要先对其进行训练。集成分类器的具体实现过程如下：
（1）制作基于MobileNet网络的特征提取算子。本文使用的MobileNet为28层分类网络，为简化训练过程，同时降低过拟合风险，先在ImageNet进行预训练，网络收敛后去掉尾部的Softmax层，将剩下的网络作为特征提取算子;
（2）训练多个分类器。将数据集分为三部分：训练集、验证集和测试集。在测试集上，采用HOG算子、Gabor算子和MobileNet网络分别提取开口销的特征，用以训练线性SVM，训练直至收敛;
（3）分类器集成。采用Blending[13]结合算法，在验证集上，将上述训练后的多个分类器的分类结果作为输入数据集，进一步训练分类器的权重参数，由此实现集成分类器的训练。
基于上述集成分类器，可得每个待测开口销区域的缺失情况的预测结果CL，若CL>0.5，则判定开口销缺失，否则，开口销正常。
3 实验
采用4C系统获取的接触网支持装置、定位装置、悬挂装置图像验证本文所述定位方法和识别方法的有效性。采用python语言进行编程，使用的深度学习平台为pytorch，模型的训练平台为Intel Core i9-9900X和NVDIA GTX2080Ti。
3.1定位实验
在4C图像库中随机抽取2000张，标注开口销存在的旋转双耳、定位管支撑、腕臂支撑上下端、绝缘子上下底座等7处位置，随后将样本划分为训练集和测试集，各1000张，训练集用以训练初步定位所需的YOLO v3网络。先采用ImageNet进行预训练，随后采用4C数据进行微调训练，迭代次数设为7000次。网络训练完毕后，使用测试集数据进行测试。定位的效果用交并比（Intersection over Union， IoU）来衡量，交并比定义如下：
由于初步定位仅要求不漏掉开口销的区域，故即可。初步定位的结果如图3所示。
在初步定位的区域中标注开口销，按照同样的方法训练另一个YOLO v3网络，以精确定位开口销。训练完毕后，将上述测试集定位的区域作为输入用以验证网络的准确率。实验时，当时，则认为定位成功，否则认为定位失败。开口销精确定位的结果如图4所示。
为验证本文所述两次YOLO v3网络的性能，将之与直接使用YOLO v3网络检测的结果、常用機器学习检测算法以及其它主流的基于深度学习的目标检测算法的检测结果进行对比，所有算法输入的图像尺寸均为416416像素。定位成功的判别条件同上，则各算法定位开口销的准确率如表1所示。
从表中可以看出，对于开口销的检测，采用级联分类器能显著提升定位的准确率，同时，基于深度神经网络的算法检测效果明显优于传统手工特征结合SVM分类器的检测效果，在上述几种主流的深度学习检测算法中， Faster R-CNN[14]级联网络的准确率最高，但检测速度最慢，相较而言，的YOLO v3级联网络兼顾较高的准确率和检测速度，更适用于开口销的定位。
3.2开口销钉缺失识别实验
通过上一步开口销钉定位实验，获得开口销钉图像各5448，其中正常开口销图像5383张，缺失图像仅65张，为便于训练，通过镜像、图像增强等方法将缺失图像扩充至200张。随后将开口销正常和缺失样本进行划分，其中，训练集、验证集和测试集分别占总数据集的1/2、1/4和1/4。再依据2.2节训练集成分类器并进行测试。为准确表明开口销缺失识别的准确率和误检率，采用召回率和精确率来衡量识别结果。召回率和精确率的定义如下：
其中，P为精确率，R为召回率;TP为故障样本被预测为故障样本的数目;FP为正常样本被预测为故障样本的数目;FN为故障样本被预测为正常样本的数目。
为验证集成分类器的识别效果，将之与单一分类器的识别结果进行比较。则各分类器的识别结果如表2所示。
从识别结果可以看出，集成分类器的分类能力最强，其召回率和精确率均在90%以上，MobileNet网络结合SVM的效果次之，好于手工特征结合SVM的分类效果。结果表明通过迁移在大数据集中训练得到的参数，然后使用少量的故障数据微调得到的深度神经网络即具有良好的泛化能力。此外，由多个分类器构成的集成分类器，较之单一分类器分类效果有显著的提升。
4 结论
本文对高速铁路接触网支持装置和定位装置的开口销钉缺失识别问题，进行了深入研究，提出了一种基于YOLO v3级联网络和集成学习的故障识别方法。该方法首先利用YOLO v3级联网络实现了对接触网支持装置和定位装置中开口销的精度定位，然后通过手工特征算子和预训练的MobileNet网络提取开口销钉图像的特征，最终由多个SVM弱分类器构成的集成分类器实现开口销的缺失识别。实验结果表明，本文方法能准确高效地识别接触网开口销的缺失故障，具有一定的工程应用价值。
参考文献
[1] 于万聚. 高速电气化铁路接触网[M]. 成都：西南交通大学出版社， 2003.
[2] 李德胜. 接触网系统对高速铁路行车安全的影响[J]. 中国铁路，2 011， （02）： 34-37.
[3] 高速铁路供电安全检测监测系统（6C系统）总体技术规范[S]. 2012.
[4] 钟俊平， 刘志刚， 张桂南， 韩志伟. 高铁接触网旋转双耳销钉状态检测方法研究[J]. 铁道学报， 2017， 39（06）：65-71.
[5] 钟俊平， 刘志刚， 陈隽文， 韩志伟. 高铁接触网悬挂装置开口销不良状态检测方法研究[J]. 铁道学报， 2018， 40（06）：51-59.
[6] Joseph Redmon， Ali Farhadi. YOLOv3： An Incremental Improvement[J/OL].arXiv.2018-4-8.https：//arxiv.org/abs/1804.02767.
[7] Sun Y ， Tang K ， Minku L L ， et al. Online Ensemble Learning of Data Streams with Gradually Evolved Classes[J]. IEEE Transactions on Knowledge and Data Engineering， 2019， 28（6）：1532-1545.
[8] Howard A G ， Zhu M ， Chen B ， et al. MobileNets： Efficient Convolutional Neural Networks for Mobile Vision Applications[J]. 2017.