论文部分内容阅读
图像语义分割是将一幅图像分割成语义类别不同的区域。现有的大多数语义分割方法都是基于全监督学习的,这就需要像素级标注的数据集来训练模型。这一标注过程耗时且费力,也容易因为标注人员主观不同出现偏差。弱监督语义分割方法的训练集仅需要图像级标注,从而成为计算机视觉研究的热点。而图像分割算法的精度会直接影响图像语义分割的结果,因此本文从图像分割和图像语义分割两个方面进行研究学习,具体的工作内容如下:(1)针对简单线性迭代聚类(Simple Linear Iterative Clustering,SLIC)超像素图像分割时手动设置K值可能导致分割不准确的问题,提出一种基于颜色信息的改进SLIC算法(CSLIC)。首先将图片从RGB空间转化为HSV空间,为了简化计算,将HSV空间中的H、S和V分量分别量化为16、5和5级。由HSV三个颜色分量构建一维特征向量,将向量中的数值排序取中位数从而得到图像的超像素数目。为了降低计算复杂度将超像素进一步合并,提取图像的颜色和纹理信息,并在相似度函数中加入空间邻域信息,之后基于相似度原则完成超像素合并。(2)弱监督图像语义分割最具有挑战性的就是语义标签推断准确度低的问题,针对这一难点,本文提出一种新颖的基于图像块和条件随机场的弱监督语义分割(Image Patch and Conditional Random Fields based Weakly Supervised Semantic Segmentation,IPCRFWSS)算法。首先使用本文提出的CSLIC算法生成超像素,并将类别标签作为指导信息合并超像素生成图像块。其次,将图像块作为节点构建基于图像块的条件随机场(Patch based Conditional Random Fields,PBCRF)模型,并将类别关联信息和相似度函数引入势能函数中,提高分割准确度。最终将类别标签推断转化为PBCRF模型能量函数最小化的问题。(3)基于复杂场景中图像语义分割精度低的问题,本文提出一种基于残差网络Res Net101和CRF(RN-CRF)的语义分割算法框架,残差网络中的恒等映射、残差映射以及Shortcut Connection结构可以很好的改善网络模型退化和梯度消失的问题。本文将Res Net101作为基础网络,网络的输出后面连接CRF模型,可以提高图像边缘的分割精度。为了进一步提高Res Net101网络框架性能,除了网络本身的损失函数外还加入了辅助损失函数,并使用参数化的整流函数,提高网络的泛化能力。