论文部分内容阅读
语义分割是图像理解过程中的一个关键问题。目前全卷积网络(Fully Convolutional Network,FCN)成为语义分割任务的主流模型。但是网络中多次重复的下采样和反卷积操作导致图像信息过多损失,同时在特征学习过程中也存在忽略像素与像素之间的关系、缺乏空间一致性等问题。因此FCN模型的分割效果并不理想,很容易出现边缘模糊和杂散区域的情况。近几年,相继提出了许多基于FCN改进的语义分割方法,语义分割精度也不断提高。但是大多数的语义分割模型都存在计算复杂、参数过多等缺点。基于以上研究现状,本文以提高图像的分割精度为目标,在FCN模型的基础上进行改进,提出了两种简单而有效的语义分割算法:一是基于底层轮廓信息的FCN模型语义分割方法;二是基于空洞卷积和多层特征融合的FCN模型语义分割方法。具体介绍如下:(1)基于底层轮廓信息的FCN模型语义分割方法,克服了传统FCN模型中由多次卷积和采样操作导致的边缘轮廓过于模糊的问题,有效地提高语义分割精度。该方法在FCN模型基础上,增加了一条并行卷积支路,使其在学习图像高层语义特征的同时,可以检测到底层轮廓信息。FCN模型初始分割完成后,利用检测到的图像底层轮廓信息对分割结果进行轮廓修复。在增加的检测支路中,设计多个侧边输出,以鼓励模型的每个层都对最后的检测结果有一定贡献。最后实验表明,在轮廓检测中利用多个侧边的检测输出所得到的轮廓信息比仅仅利用最后输出结果所得到的轮廓信息更清晰。在语义分割方面,通过对比引入底层轮廓信息前后的分割结果验证了此方法的有效性。(2)基于空洞卷积和多层特征融合的FCN模型语义分割方法通过减小数据在学习过程中的缩放次数以保留更多有用的信息,同时显式融合所有卷积层的输出信息,从而提高分类预测的准确度。基于空洞卷积的语义分割模型是在传统的FCN语义分割模型上进行改进的,具体如下:移除FCN模型最一个的池化层,同时为保证模型的感受野不变,将第5阶段卷积层中的卷积操作用空洞卷积替代,减少数据缩放的倍数,增加图像在学习过程中的有用信息,提高语义分割的准确度。本文还设计了一种基于卷积层的多层特征融合结构,显式地融合所有卷积层学到的特征,弥补语义分割模型在预测过程中过多信息丢失的问题。最后通过设计多组对比实验,验证了本算法的可行性和有效性。