论文部分内容阅读
阴影是一种常见的光学现象。在自然场景中,当光线的传播被遮挡时,对应的物体表面就会形成阴影区域。图像阴影的研究和应用是计算机视觉领域中的热点和难点问题,一方面,阴影对于多种高级视觉任务,如目标检测和跟踪等,是一种复杂多变的干扰信息,研究阴影去除能够为此类任务提供有力的支持;另一方面,图像中的各种阴影蕴含丰富的场景信息和光源信息,如何有效地提取阴影中蕴含的信息对于场景理解等视觉应用至关重要。因此,研究图像中阴影的去除和有效利用具有重要的理论意义和应用价值。本文以阴影图像为研究对象,从阴影形成的角度出发,研究了基于阴影图像本质特征的全监督阴影去除方法;针对全监督阴影去除方法受限于数据不足,而当前不成对方法无法准确有效去除阴影的问题,开展了基于亮度引导的不成对图像阴影去除方法的研究;针对无阴影图像获取困难导致当前模型性能受限的问题,研究了基于阴影生成的弱监督阴影去除方法;受阴影的形状和方向等特性的启发,探索了图像阴影的全新应用——利用人-阴影（人以及人的阴影）检测阴影消失点,为消失点检测提供了新的思路和解决方法。本文对上述研究中涉及的理论、方法和应用进行了深入研究,主要研究内容和成果包括以下四个方面:（1）研究了基于阴影图像本质特征的全监督阴影去除方法。针对现有方法对阴影图像的形成假设过于简化无法有效处理复杂阴影的问题,本文提出了一种新的阴影图像形成模型,该模型将无阴影像素表示为光照参数、反射参数和阴影像素的平移变换函数,并基于该模型提出了一个全监督阴影去除网络模型（Shadow Removal via Estimating Lightness and Reflectance,LR-Shadow Net）。LR-Shadow Net由两个参数估计子网络和一个结果优化子网络构成。两个参数估计子网络基于参数的物理特性,分别用于估计模型中的光照和反射参数。结果优化子网络改善了由于必要监督信息缺失导致参数估计可能出现偏差的问题。另外,在LR-Shadow Net的三个子网络中嵌入了空间特征变换模块的变体,旨在使用阴影先验辅助模型学习阴影去除。在广泛使用的AISTD和VSRD数据集上的实验结果表明,与现有全监督阴影去除方法相比,文中所提方法可以处理更为复杂的阴影,在阴影去除性能和泛化能力方面取得了当前SOTA的性能。（2）研究了基于亮度引导的不成对阴影去除方法。当前全监督阴影去除方法的性能受限于数据不足,而基于不成对数据构建阴影去除模型方法中,普遍存在无法准确去除阴影、参数量较大、网络难以收敛导致阴影去除效果欠佳的问题。针对以上问题,本文提出了一种新的基于亮度引导的不成对阴影去除网络模型（LightnessGuided Shadow Removal Network,LG-Shadow Net）。LG-Shadow Net由亮度引导模块和阴影去除模块构成。亮度引导模块以补偿阴影区域的亮度为目标,先学习部分显著的阴影知识。在该模块学习到的亮度信息的引导下,阴影去除模块学习完整的阴影去除知识。为更好地利用数据中的先验信息,在LG-Shadow Net中引入了基于图像颜色先验的损失函数以提高模型的阴影去除性能。在ISTD、AISTD以及USR数据集上的实验结果表明,与当前的不成对阴影去除方法相比,文中提出的使用亮度引导学习阴影去除模型具有更好的阴影去除性能,且参数量更少、计算效率更高。（3）研究了基于阴影生成的弱监督阴影去除方法。针对常规有监督学习阴影去除模型性能严重受限于无阴影图像样本多样性的问题,本文提出了一种无需无阴影图像的弱监督阴影去除网络模型（Generation based Shadow Removal Network,G2R-Shadow Net）。该网络模型包括一对阴影生成/去除子网络和一个结果优化子网络,阴影生成子网络在图像中非阴影区域生成阴影,从而获取成对的阴影和非阴影区域,阴影去除子网络则利用该成对信息学习阴影去除,结果优化子网络用于调整阴影去除区域,使之与图像其它区域的表观具有一致性。在AISTD和VSRD数据集上的实验结果表明,本文提出的基于阴影生成的弱监督阴影去除方法可在仅有阴影图像及阴影掩模的情况下有效地去除阴影,且阴影去除性能和泛化能力强于既有的弱监督方法。（4）研究了基于人-阴影自适应特征提取的阴影消失点检测方法。该方法首次探索了人-阴影图像在消失点检测上的应用,构建了一个基于深度学习的阴影消失点检测网络模型（Shadow Vanishng Point Detection Network,Shadow VPNet）。Shadow VPNet模型包括一个人-阴影检测器、特征提取器对以及一个消失点分类器,人-阴影检测器用于获取人-阴影区域的掩模,特征提取器在掩模的引导下自适应地提取人-阴影特征,消失点分类器则根据输入的人-阴影特征,通过分类的方式得到阴影消失点。本文还构建了首个人-阴影消失点图像数据集（Shadow Vanishing Point Image Dataset,SVPI）,并对样本图像中的人-阴影以及阴影消失点进行了标注。在该数据集上开展的实验结果表明,本文提出的方法可精确地检测阴影消失点,检测性能和泛化能力均优于既有的阴影消失点检测方法,在增强现实上的应用实验结果进一步验证了所提方法的有效性和实用性。