论文部分内容阅读
深度图像是表示深度传感器与场景物体之间距离的图像。随着深度传感器的快速发展,深度图像已经广泛应用于人机交互、3D视频和虚拟现实等诸多领域中。然而受到采集设备自身的局限及采集环境因素的影响,直接获取的深度图像存在深度数据丢失和分辨率低等问题,严重影响深度图像的后续应用。本文根据深度图像中存在的问题,提出了相应的修复和上采样重建算法。针对深度图像因数据丢失而形成的空洞进行修复研究,提出了一种基于曲率驱动扩散和边缘重建的深度图像修复算法,实现了单幅深度图像的修复补全;针对深度图像分辨率低的问题,提出了一种基于全局边缘模型的深度图像上采样重建算法,实现了单幅深度图的上采样重建,得到更高分辨率的深度图像。主要研究工作和成果如下:(1)深度数据缺失导致深度图像中存在大量空洞,使用传统修复方式易造成图像目标物体边缘空洞过填充或欠填充,造成边缘扭曲、边界模糊等问题。针对这一问题,本文提出了一种基于曲率驱动扩散和边缘重建的深度图像修复算法。该算法采用曲率驱动扩散模型,利用图像邻域内有效像素信息,将局部结构从空洞的外部向内部扩散,能够准确的填充空洞。然后,设计二值分割滤波对填充后像素模糊区域进行边缘分割,并采用马尔科夫随机场模型对模糊边缘进行纹理重建,二值分割滤波能够有效提升马尔科夫随机场对边缘重建的的准确度。实验结果表明,本文算法能够有效修复空洞并且消除物体边缘模糊。与JBF、FMM和CDD修复算法相比,对深度图像中物体边缘处空洞的修复效果有较大提升,且平均梯度指标结果也具有明显优势。(2)深度图像分辨率较低,上采样重建后图像容易出现振铃、伪影和模糊边缘问题。针对这一问题,本文提出一种基于全局边缘模型的深度图像上采样重建算法。该算法将插值和优化的方法相结合,首先对低分辨率图像进行插值重建;然后,对重建后的图像进行全局优化。优化函数的正则项设计使用Tikhonov算子和全局边缘模型相结合,最后,采用基于乘法交替方向算法求解约束优化问题,得到高分辨率图像。Tikhonov正则化算子能够很好的平滑图像且抑制噪声;全局边缘模型可以在局部区域和整个图像中提供图像边缘的连续域表示,为优化提供边缘先验知识。算法将优化函数应用于插值后的图像,是因为插值后的深度图像在估计全局边缘模型时,可以获取更多的边缘像素信息,获得更准确的边缘模型。实验结果表明,本文提出的上采样重建算法,能够有效地提升低分辨率深度图像的重建效果。与Bicubic插值、SC以及当前基于深度学习的SRCNN、FSRCNN算法相比,PSNR和SSIM评价指标有明显提升,并且能够有效的缓解振铃、伪影和模糊边缘的问题。