论文部分内容阅读
语义分割旨在对图片所有像素点进行类别标记,随着深度学习与高精标记数据集的快速发展,该视觉任务取得了重大进展。然而,繁琐耗时的人工标记成本极大限制了样本数量与识别类别种类,阻碍了语义分割的实际应用。因此,近几年基于弱监督的语义分割得到了广泛关注。给定图片级别的类别标签(即只标明图片含有的类别),CAM(类别响应图,ClassActivationMaps)常用于初始图片分割(也称初始种子),其分割区域通常集中于小且稀疏的显著判别域,而非完整的物体对象。为了提升分割性能,本文着眼于初始种子的区域扩张。
首先,为了扩张初始种子区域,本文利用空洞卷积(Dilated Convolution)改进弱监督语义分割中的分类模型,增大特征提取组的卷积感受野以扩充CAM响应。同时,本文改进池化等结构参数,并采取更有效的测试策略优化初始种子。进一步,结合辅助显著图生成人造的分割图监督信号,以分析辅助数据对弱监督语义分割性能的影响。通过详细的对比实验,本文首先实现了较高的Baseline弱监督语义分割基准性能,在PASCALVOC2012验证集与测试集上分别为60.12%与61.09%mIoU(平均交并比,meanIntersectionoverUnion)。通过实验确定弱监督语义分割性能的关键影响因素,即初始种子的性能。
接下来,由于初始种子通常只关注显著判别性的区域,需要对其进行更全面地扩张。本文提出级联的语义擦除结构以提高分类模型的种子扩张效率。依次连接多个分类子网络,阶段式地衔接语义擦除模块以抑制高响应的显著判别域。相比已有的中间高维特征图擦除方法,本算法选择抑制类别响应特征图CAM。在CAM中语义信息的指导下,将初始种子区域扩充到正确的潜在物体部位,同时纠正部分类间标签错误。实验表明语义擦除算法极大提高了空间擦除后的扩张效率,证明了该算法有效性,在VOC验证集与测试集上的性能分别为62.31%与63.37%mIoU。
最后,由于空间擦除视空间单元的所有通道响应为一个整体,擦除区域的所有通道信息丢失,带来了两类典型的语义混淆问题:类内识别缺乏通道模式的多样性,同时在扩张中易放大原始错误特征。通过研究卷积通道编码模式,本文提出对抗式的通道擦除算法,从通道而非空间层面进行区域扩张。通过将不同的通道响应分开,抑制高响应的主导通道以促使模型激活其他的相关通道,以丰富物体特征多样性的方式实现初始种子的扩张。同时,这种对抗式的抑制策略激活了不同通道间的相互竞争,使得部分初始的错误特征得以纠正。实验证明了通道擦除相比空间擦除的有效性,在VOC验证集与测试集上的分割性能分别为62.76%与63.54%mIoU。
本文主要针对弱监督语义分割的分类模型进行研究。通过扩张初始种子分割图以优化得到的人造监督信号,从而实现与大部分已有弱监督方法匹敌的分割性能。本文提出的改进算法及其核心思想为弱监督语义分割提供了新颖的视角与思路,对该领域的学术研究具有重要意义。
首先,为了扩张初始种子区域,本文利用空洞卷积(Dilated Convolution)改进弱监督语义分割中的分类模型,增大特征提取组的卷积感受野以扩充CAM响应。同时,本文改进池化等结构参数,并采取更有效的测试策略优化初始种子。进一步,结合辅助显著图生成人造的分割图监督信号,以分析辅助数据对弱监督语义分割性能的影响。通过详细的对比实验,本文首先实现了较高的Baseline弱监督语义分割基准性能,在PASCALVOC2012验证集与测试集上分别为60.12%与61.09%mIoU(平均交并比,meanIntersectionoverUnion)。通过实验确定弱监督语义分割性能的关键影响因素,即初始种子的性能。
接下来,由于初始种子通常只关注显著判别性的区域,需要对其进行更全面地扩张。本文提出级联的语义擦除结构以提高分类模型的种子扩张效率。依次连接多个分类子网络,阶段式地衔接语义擦除模块以抑制高响应的显著判别域。相比已有的中间高维特征图擦除方法,本算法选择抑制类别响应特征图CAM。在CAM中语义信息的指导下,将初始种子区域扩充到正确的潜在物体部位,同时纠正部分类间标签错误。实验表明语义擦除算法极大提高了空间擦除后的扩张效率,证明了该算法有效性,在VOC验证集与测试集上的性能分别为62.31%与63.37%mIoU。
最后,由于空间擦除视空间单元的所有通道响应为一个整体,擦除区域的所有通道信息丢失,带来了两类典型的语义混淆问题:类内识别缺乏通道模式的多样性,同时在扩张中易放大原始错误特征。通过研究卷积通道编码模式,本文提出对抗式的通道擦除算法,从通道而非空间层面进行区域扩张。通过将不同的通道响应分开,抑制高响应的主导通道以促使模型激活其他的相关通道,以丰富物体特征多样性的方式实现初始种子的扩张。同时,这种对抗式的抑制策略激活了不同通道间的相互竞争,使得部分初始的错误特征得以纠正。实验证明了通道擦除相比空间擦除的有效性,在VOC验证集与测试集上的分割性能分别为62.76%与63.54%mIoU。
本文主要针对弱监督语义分割的分类模型进行研究。通过扩张初始种子分割图以优化得到的人造监督信号,从而实现与大部分已有弱监督方法匹敌的分割性能。本文提出的改进算法及其核心思想为弱监督语义分割提供了新颖的视角与思路,对该领域的学术研究具有重要意义。