论文部分内容阅读
随着深度摄像头相关技术的不断发展,我们可以越来越容易获取深度图像。在虚拟现实,三维重建等领域,深度信息都具有很高的应用价值。然而,目前消费级深度摄像头获取的深度图像存在两个方面的问题:一个问题是深度图像常受到噪声干扰,存在因深度值丢失而引起的大黑洞;另一个问题是深度图像分辨率较低,不能够提供高精确度深度信息。受此影响,深度信息不能够被充分地利用,严重限制了基于深度信息的相关应用的发展。因此,深度图像增强成为急需解决的问题。针对上述问题,本文对深度图像增强进行了深入的研究,包括深度图像去噪和深度图像超分辨率重建,主要研究内容和贡献如下:针对深度图像噪声的特点,提出了基于多尺度互特征CNN的深度图像去噪网络。这个端到端的深度图像去噪网络由数据驱动,实现了自动特征抽取,一共包含两个阶段:多尺度互特征学习和深度信息转换。对于多尺度互特征学习,我们设计了两个多尺度互特征生成器来提取更可靠的互特征。之后,深度信息转换子网络将利用这些互特征恢复出干净的深度图像。我们在常用的RGB-D数据库上进行了测试,与目前具有代表性的方法进行相比,结果表明我们提出的方法能够在PSNR数值评估和视觉效果两方面都能取得更好的结果,同时具有较高的处理速度。此外,我们的模型也具有较强的泛化性能,能够处理实际场景中深度图像的噪声。对于深度图像超分辨率重建,我们提出了两种基于多尺度互特征的卷积神经网络,包括基于多尺度互特征引导的深层深度图像超分辨率网络(MSMF-DSR)和基于多尺度互特征和残差融合的深度图像超分辨率网络(RF-MSMF-DSR)。MSMF-DSR将多尺度互特征作为引导信息,避免了彩色图像中冗余信息的干扰,提升了深度超分辨率重建效果。根据低分辨率深度图像与高分辨率深度图像具有共同低频信息的特点,RF-MSMF-DSR引入残差学习,将网络的学习目标转换为低分辨率输入到残差的非线性映射;此外,将深层网络和浅层网络结合,实现不同层级残差分量的残差融合,增强了整体网络模型的表征残差特征的能力,提升了泛化性,从而进一步提升了深度超分辨率重建效果。实验结果从RMSE数值评估和视觉效果两方面表明了上述两种方法的有效性。