论文部分内容阅读
实例分割是计算机视觉领域中一个综合性的任务,是对图像场景的深层理解,集分类、定位和分割三大任务为一体,能够对图像中的实例在像素级层面进行识别。基于深度学习的实例分割技术在精度上获得了长足的发展,这项技术也开始从实验室走向实际应用,在自动驾驶系统、移动终端摄像模块以及在线视频播放平台等场景中得到了广泛应用。然而,目前基于深度卷积神经网络的实例分割模型架构复杂,网络层次较深,运行速度较慢,即使在高性能算力条件下,也仅能在每秒内预测约15张图片。对于多数应用场景来说,其处理的信号是视频信号,每秒传输的图像超过30张,因此之前的模型在速度上远远无法满足要求。针对这个问题,本文从实例分割方法和模型架构方面着手,研究探索高效实时的实例分割技术。进入深度学习时代后,实例分割技术主要有两个发展方向,第一种是基于目标检测的方法,先检测后分割;第二种先进行语义分割,然后对分割结果进行后处理以区分不同实例。第二种方法后处理方法复杂,难以利用硬件进行加速,因此本文选择第一种思路,以目标检测技术为基础,构建高效的实例分割算法。本文提出一种新的实例分割方法,称之为高效实例分割网络(EISNet,Efficient Instance Segmentation Network)。EISNet以单阶段目标检测算法SSD(Single Shot Multibox Detection)为基础,在其检测模块添加一个并行的预测分支用以对每个锚框预测一个组合系数;同时在最大尺度特征图后面添加一个全卷积范式的原型生成分支,生成一系列全图级别的分割原型;最后将分割原型以组合系数进行线性组合并以Sigmoid激活函数生成分割掩膜,通过真实框或预测目标框进行裁剪而获得实例分割掩膜。系数预测分支与原分类和定位分支平行,且共享特征处理层,而原型生成分支与原检测分支平行,因此虽然其网络变复杂,但其并行网络结构非常适合进行硬件加速,相比原检测模型,其运算速度基本未受影响。EISNet保留了SSD高效的特性,在GTX 1080 Ti显卡的算力条件下,每秒能预测超过30张540x540大小的图片。为了提高特征的鲁棒性,本文还提出一种改进的双向特征金字塔网络,通过额外的自底向上融合通道进行多尺度特征融合,使得融合后的特征包含更加丰富的信息。除此之外,本文还在训练期间选用了更加有效的定位损失函数DIoU,并添加了仅在训练期间使用的语义分割分支,以此来辅助网络更好的收敛。最后,为了验证本文算法的实用性,将本文提出的模型应用到消防指挥系统中,对消防系统中的图传信号进行分析,辅助进行现场侦查和人员搜救等工作,验证了本文算法的可行性和实用性。