论文部分内容阅读
计算机视觉和机器人应用的蓬勃发展,使得依赖于深度信息的应用越来越普遍,同时对深度信息的质量要求越来越高。然而,基于双目立体视觉、结构光、ToF等原理的各类深度传感设备所获取到的图像往往并不完备,通常存在深度值缺失、噪声多和分辨率低等问题。本文针对深度图像中存在的这些问题提出了两种增强算法:基于修复和滤波的深度图像增强算法和基于对象连续性的深度增强算法。基于修复和滤波的深度图像增强算法的研究中,对传统修复算法的修复顺序进行改进并将其应用于深度图像增强,之后提出两种联合三边信息的滤波方法,用以去除修复后的图像中存在的伪影和噪声。本文将修复顺序的决定过程分为确定候选集和选择目标点两个步骤,候选集用以决定当前纳入考虑的像素点范围,候选集内目标点的顺序采用优先级评估函数确定,该函数由置信度和方向因子共同决定。此外,深度图像的不完备和深度图像与彩色图像的信息不一致等问题导致了使用单边像素相似性的不可靠性,本文联合使用深度像素相似性和彩色像素相似性双边因子,并加入距离因子保证图像信息的局部相关性。基于对象连续性的深度图像增强算法的研究中,根据深度图像内部的对象连续性,对图像进行对象分割,针对每个对象,使用其内部的已知信息构建三维回归模型,计算模型参数,并使用得到的模型对缺失像素点的深度值进行预测。根据三维世界中物体存在的整体性,在相机坐标系中表现为z值的连续变化,相应的在图像坐标系中的深度值也是连续变化的,本文称其为对象连续性。基于该知识基础,本文采用二次曲面作为待构建模型,并使用最小化损失函数对模型进行参数求解,然后迭代处理每个对象内部的空洞,直到所有对象都得到有效处理。最后,对本文提出的深度增强算法在公开数据集上进行测试和主客观评价。首先,针对本文提出的两种增强算法分别进行测试评价,包括单步处理中多种可替代方案之间的比较评估以及算法本身在数据集上的表现。之后,对本文提出的两种深度增强算法与其他三种先进的增强算法在测试集上的表现进行视觉和量化比较。视觉比较结果显示,本文提出的两种算法能够取得良好的视觉效果,尤其对于结构边缘的修复,能够较好保存结构信息且出现较少模糊;在量化结果方面,本文提出的两种增强算法相比于其他三种算法在SSIM和PSNR值上都得到了一定的提升,平均量化结果中PSNR平均提升了0.8-2dB,SSIM平均提升0.03-0.24;此外,本文提出的两种增强算法的SSIM值大多分布在0.9以上。