论文部分内容阅读
图像语义分割是将图像分割成几组具有某种特定语义含义的像素区域,并识别出每个区域的类别,从而获得一幅具有像素语义标签的图像。随着互联网技术的快速发展,图像语义分割技术逐渐发展成熟,其研究成果在自动驾驶系统、机器人导航及智能医疗等实际生活中广泛应用。近年来,基于概率图模型的条件随机场(Conditional Random Field,CRF)因其具备以统一的概率框架融合图像多个特征及能够表达上下文信息的能力,在图像语义分割领域得到了广泛的研究与应用。CRF模型是一种判别式的概率无向图模型,可以在不作独立性假设的前提下有效处理多个特征之间的关系。由于现有的基于点对CRF(Pairwise CRF,PCRF)的图像语义分割模型表达能力有限,因此难以获得想要的语义分割结果。但相对于仅考虑局部邻域关系的PCRF模型而言,全连接CRF(Fully Connected CRF,FCCRF)模型则进一步考虑了每个像素和其他所有像素之间的关系,在图像中的所有像素对上建立依赖关系,利用像素间的相互依赖关系引入图像的全局信息,从而获得较好的语义分割结果。因此,本文基于FCCRF模型进行图像语义分割研究,主要研究内容包括如下几个方面:(1)针对FCCRF模型进行图像语义分割时边缘存在模糊的问题,提出一种基于全局概率边界边缘约束的FCCRF(Globalized Probability of Boundary Edge Constrained FCCRF,gPbEC-FCCRF)图像语义分割模型。首先,利用TextonBoost分类器获取图像的基本结构特征,建立FCCRF模型的一元势能项;其次,采用gPb边缘检测器提取出图像的边缘轮廓特征并将其融合到FCCRF模型的高斯边缘势能中,建立图像分割模型新的二元势能项;最后,在FCCRF模型框架下,建立具有新的边缘势能项的FCCRF图像语义分割模型。实验结果表明所提模型能更好地保持图像边缘信息,具有更好的语义分割结果。(2)针对FCCRF模型难以准确描述自然图像高维复杂特征的问题,提出一种基于鲁棒P~n Potts模型的高阶FCCRF(High-Order FCCRF for Robust P~n Potts model,RHOFCCRF)图像语义分割模型。首先,利用高阶势能可以引入更复杂的图像特征的特点,在FCCRF模型的基础上采用具有鲁棒性的P~n Potts模型,建立图像分割模型的高阶势能项;其次,将高阶势能项与FCCRF模型的一元势能项和二元势能项进行加权混合,建立基于鲁棒的高阶FCCRF图像语义分割模型;最后,通过实验证明所提模型能够准确地建模复杂自然图像的高维复杂特征,获得更准确的语义分割结果。(3)为了既能够较好地保持图像低维边缘信息,又能够更加准确地描述自然图像高维复杂特征,将gPb边缘能量约束与高阶势能函数相结合,提出gPbEC-RHOFCCRF图像语义分割模型,并将所提模型应用到道路场景语义图像分割任务中。实验结果表明,所提模型能够有效提高道路场景图像语义分割的准确度。