论文部分内容阅读
本征图像分解问题旨在将输入的图像分解成几张组分图像,这些组分图像分别描述输入图像中物体的材质特性、光照的效果,反映出图像中真实的物理世界。最普遍的分解方法是将图像分解成一个反照率图像和一个亮度图,分别反映物体本身的反射特性和场景中每个位置的光照信息。如果能够可靠地估计场景中所有物体在光照不变下的材料特性,很多计算机视觉和计算机图形学方面的算法的性能将会大大提升。然而,由于这个问题的不适定性,对于单张图像的本征分解算法的发展十分有限。与此同时,近年来,随着深度相机如Kinect的普及,获取深度信息更加便利,研究者们开始利用深度信息研究计算机视觉算法,如姿态识别、场景理解等。目前,利用TOF相机和微软的kinect采用红外测距来获取到的深度信息,往往在边缘和遮挡处产生空洞,分辨率较低。因此,为了使获得的深度图像更加准确、便于使用,对深度图像的优化成为一个热点问题并且得到广泛研究。虽然目前有不少方法用于提高深度相机获取的深度图像的质量,但是还是存在着一些问题,如受彩色图像颜色纹理的干扰,很大程度上限制了深度优化算法的性能。本文提出一种针对单张RGB-D图像的本征分解方法。对于单张RGB图像及其对应的初始深度图,首先分解成四个部分:反照率(reflectance)、直接光照(direct irradiance)、其他光照(other irradiance)和光照颜色(illumination color),然后由后三者合成亮度图(shading)。对于反照率成分,本文提出的方法使用了稀疏先验和非局部先验,充分利用自然图像中反照率和亮度图的稀疏性,以及图像中非局部的结构相似性。由于亮度图主要由平滑的区域构成,因此它的梯度是稀疏的,从而使用L1范数对亮度图的主要成分——直接光照进行建模。最终,利用增广拉格朗日乘子法的交替方向框架(ADM-ALM)进行求解。实验结果表明,本文提出的方法在真实数据集和合成数据集都实现了良好的分解效果,并且对噪声具有鲁棒性。在得到本征分解结果之后,针对场景中不同地方的特性,利用反照率图(reflectanc)和亮度图(shading)联合优化初始深度,使得优化之后的深度图拥有更多的几何细节,同时避免纹理的干扰。论文的工作成果及创新点如下1.在反照率图和亮度图的约束项中同时应用了稀疏先验,并设计了1范数的约束项。从观察和统计分析的角度分析得出反照率和亮度的局部差异满足拉布拉斯分布这一结论。2.设计了一种基于双边滤波加权的非局部先验应用到反照率的平滑项中,使得本文提出的方法可以充分利用反照率图中结构一致性,通过使用非局部的结构相似形,解决了之前方法中存在的短视问题,即一个点的约束项是通过与整张图中的随机像素连接来建立,并且它们之间的权重是基于每个点及其周围的点来决定而不是仅由两个点自身的像素值决定。3.基于本文提出的本征图像分解,设计了十分有效的深度图优化方法,在获取更高质量的深度图的同时,很大程度上避免了之前方法中存在的彩色纹理信息干扰问题。