论文部分内容阅读
通过二维图像实现对真实场景的理解是计算机视觉的主要任务之一,本征图像分解是其中的一个基本问题。观测到的世界可以认为是光线、物体的几何形状与物体表面的材质三者相互作用所融合后的结果。本征图像分解则试图从图像中恢复出这些原始的、真实的内容。传统的本征图像分解算法将图像分解成反射图和光照图。其中,反射图表现物体表面材质的颜色特性,与物体所在环境的光照和物体的几何形状无关。光照图则表现出环境中的光线在物体表面产生的明暗效果,与物体本身的材质颜色无关。本征图像分解在计算机视觉和其它相关研究领域意义重大。例如反射图除去了图像中由于复杂的环境光照所带来的影响,有助于对图像中的物体进行检测、识别和分割。而光照图包含了环境光照和物体几何形状的信息,可以用于推测场景的光照分布以及物体的三维形状等。此外,分解得到的本征图像可以用于基于图像的光照、材质编辑,在图像、图形和增强现实等领域有着广泛的应用。 本文针对本征图像分解问题开展了以下工作: 1.针对RGBD图像输入提出了一种高效的本征图像分解算法。 随着传感器技术的不断发展,消费级深度摄像头在三维重建、人体跟踪、人脸和手势识别等应用中已经得到了广泛使用。作为一个严重欠定的问题,传统的本征图像分解算法仅使用彩色图像作为输入,具有很大的局限性。而RGBD摄像头所提供的深度信息对于理解物体表面的几何形状和求解光照带来的明暗变化有着很大的帮助。本文使用从RGBD摄像头采集到的图像,给出了一种高效的本征图像分解算法。相比同类算法,本文的算法通过对彩色图像进行超像素划分减少了求解变量的数量,达到了近似实时的性能,对增强现实等实时性要求较高的应用有很大的帮助。 2.提出了一种基于深度学习和卷积神经网络的本征图像分解算法。 作为计算机视觉中一个著名的难题,传统方法在求解本征图像分解上有着很大的局限性。例如,为了简化问题所做出的假设和基于经验给出的先验约束在很多情况下与复杂的真实场景不一致,从而极大的限制了传统方法的求解质量及其实际应用。近年来,深度学习在计算机视觉领域的飞速发展给解决这些经典难题提供了新的思路。本文使用深度学习和卷积神经网络来求解本征图像分解问题,开展了以下工作: 针对传统本征图像分解算法所假设的漫反射表面在实际应用中的局限性,本文通过引入镜面反射对问题进行了扩展,使得算法能够处理更广泛的真实世界图像; 为解决深度学习中训练数据集缺失的问题,本文使用真实感渲染生成了一个大规模训练数据集。结果表明在渲染生成的数据集上训练的模型用于真实图像同样能够得到高质量的结果。 本征图像分解问题对输出图像的质量有着很高的要求,而现有方法很难满足这一需求。本文针对这一问题设计了一个深度卷积神经网络结构,得到了高质量的本征图像分解结果。