论文部分内容阅读
近些年来,得益于深度学习强大的特征提取与模型适应能力,其在多个计算机视觉领域取得了突破性进展。图像的语义分割作为计算机视觉领域的一个重要分支,备受研究者的关注。当前复杂环境下图像语义分割的主要研究点主要集中在提升分割精度、速度以及增加其在现实生活中的应用范围。具体来说,目前图像的语义分割在提升分割精度中还存在着小目标、物体边缘分割效果不佳以及上下文建模困难导致物体错分的问题。针对以上问题,本文以深度学习中卷积神经网络（Convolutional Nerual Network,CNN）和transformer结构为基础,提出基于编码器-解码器结构的复杂环境下图像语义分割模型,具体如下:针对全卷积神经网络（Fully Convolutional Networks,FCN）框架中编码器结构高等级特征图中边缘细节信息丢失以及缺乏多尺度特征捕获能力的问题,本文提出一种基于改进全局注意力模块的双金字塔网络（Global Attention Double Pyramid Network,GADPNet）结构来提高语义分割的性能。GADPNet结构由Resnet-101,空洞空间金字塔池化（Atrous Spatial Pyramid Pooling,ASPP）模块,改进的全局注意力模块和提出的金字塔解码器结构组成。其中Resnet-101是提取输入图像不同层次特征的主干网络;ASPP模块用于捕获单一高等级特征分支中的多尺度信息;改进全局注意力模块降低低等级特征图中像素错误分类的可能性,保留低等级特征图更精确的细节信息,在此基础上,金字塔解码器结构则是将ASPP模块捕获高等级特征图中的多尺度特征和指导后低等级特征图中的多尺度特征进行融合,从而增强网络结构多尺度特征的捕获能力。实验结果表明,所提出GADPNet表现出较好的语义分割精度,其在Pascal VOC 2012测试数据集和Cityscapes验证数据集上得到的平均交并比值（mean Intersection over Union,m Io U）分别为80.5%和72.9%,所提方法优于FCN、Deep Labv2等方法。针对目前的场景图像语义分割方法缺乏充分利用特征图局部和全局上下文信息,导致目标错误分类以及单独对物体边缘分割质量研究较少,物体边缘分割识别效果不佳的问题,本文提出一种结合物体主体和边缘的场景图像语义分割算法。在利用语义流信息保持物体主体内部一致性的基础上,设计了主体上下文特征提取模块,充分考虑分割目标的局部和全局上下文信息,在网络中间层阶段细化粗略特征图来减少目标对象错误分类的情况。此外,为提升物体边缘分割效果,提出的边缘注意力模是将全局特征引导的低级特征图和高等级特征图之间操作获得的具有语义信息的边缘特征图连接起来,以获得更准确的边缘细节信息。最后,物体主体和边缘部分的分割特征图的连接形成最终的特征图。本文所提方法不仅在经典的FCN、PSPNet和Deep Labv3+主流网络上进行实验,还在最近提出的SFNet实时语义分割网络结构进行了实验,整幅图像和目标边界分割m Io U的值提升以及可视化分析验证了本文所提算法的有效性。为了证明实验的鲁棒性,我们在Cityscapes、Cam Vid和KITTI三个复杂场景语义分割数据集上进行了实验,在Cityscapes验证数据集上得到的m Io U值为80.52%,在Camvid和KITTI测试数据集上的m Io U值分别为71.4%、56.53%,与目前先进的场景图像语义分割的方法相比,本文所提算法展示出了更好的分割识别结果。针对卷积神经网络局部感受野的固有缺陷,导致基于CNN的场景图像语义分割方法无法捕获全局感受野,难以在复杂场景中进行全局上下文信息建模的问题,本文提出一种基于transformer结构的场景图像语义分割方法。具体来说,在利用transformer主干网络在每个阶段捕获全局语义信息的基础上,所提金字塔transformer模块是通过空洞卷积以局部连接的方式捕获transformer主干网络所得特征图中的多尺度特征,transformer中的自注意力机制对多尺度特征建模,增强特征图中多尺度信息捕获的能力;此外,所提Mt FAM解码器结构通过提升高等级特征分类能力的同时,并与低等级特征对齐后融合来增强小目标和物体边缘的分割能力。本文提出的金字塔transformer模块可以添加到Resnet和视觉transformer等主干中实现端到端的训练,且足够的实验证明了所提出方法的有效性。与Vi TTiny作为编码器结构语义分割网络相比,所提出的方法在ADE20K验证数据集上m Io U的值提高了3.63%。最后,本文所提出方法在具有挑战性的ADE20K场景分割数据集上获得的m Io U值为49.90%,比相同transformer主干下的Segmentation Transformer方法高了0.62%。本文分别从注意力机制、结合物体主体和边缘、cnn和transformer结构结合的三个角度研究出发,分别提出一种基于改进全局注意力模块的双金字塔结构的图像语义分割方法、一种结合物体主体和边缘的场景图像语义分割方法、一种基于transformer结构的场景图像语义分割方法。充足的实验验证了所提算法的有效性,为复杂环境下图像语义分割算法的研究提供了新思路。