论文部分内容阅读
图像匹配是计算机视觉领域的重要研究方向,该问题关注于图像间共有语义区域之间的相关性构建,即基于描述图像间相关性的流场,两幅图像中相似部分尽可能地重叠。图像匹配在很多研究领域具有广泛的应用价值和迫切的实际需求,其准确性和计算效率对相关问题的解决起到至关重要的作用。由于当前图像匹配应用背景的广泛性和数据来源的多样性,导致现有匹配算法的使用范围受到限制。特别是匹配拥有同类别物体的图像时,其共有物体的巨大类内差距,使图像匹配工作更具有挑战性。 计算机视觉是研究如何令计算机“理解”图像的学科,其目标在于跨越像素与视觉信息之间的鸿沟,实现图像或多维数据到语义信息的转化。因此,构建同类物体相关性的图像匹配能够为处理、分析和理解视觉信息提供可行途径,最终构建起计算机解决实际复杂问题的人工智能系统。为了处理图像间的巨大差异,结合卷积神经网络特征,本文从像素(特征)、图像和图像集三个层面上讨论提高图像匹配精度的方法: 首先,提出一种基于卷积神经网络特征的图像匹配方法,利用卷积神经网络特征对图像视觉信息表达的卓越能力,提高图像间相似区域的相似性衡量。一方面,分析卷积神经网络特征对视觉信息的表达能力,体现出卷积神经网络特征的内在固有相关性,以验证其应用于图像匹配的可行性。另一方面,分别定义衡量特征相似度的数据项和表示空间限制的平滑项,以此构建图像匹配的优化目标,利用双层置信传播算法进行优化,并估计出图像间的相关性。相对于传统局部描述子,实验证明卷积神经网络的中层特征和高层特征更适用于解决种类级别的图像匹配问题。 其次,提出一种基于特征金字塔的层次化图像匹配方法。卷积神经网络为图像构建了层次化表达模型,不同层输出描述了图像不同层次的视觉信息,深入分析则验证了多层特征对视觉信息表达的互补优势。基于卷积神经网络特征金字塔,引入由高层至低层的指导项,构建层次化匹配的优化目标。一方面,利用高层语义匹配避免复杂背景的干扰,并削弱低层特征带来的语义模糊性,快速完成相似语义区域的匹配。另一方面,利用低层细节匹配改善高层匹配的“粗”相关性估计,实现细粒度的相关性估计。 同时,针对图像间不同相似程度的问题,引入匹配尺度自适应选择机制,避免强行匹配底层非共有细节导致匹配准确率的降低。基于卷积神经网络内部反馈机制,提出面向图像对语义相关的显著图,突出图像间具有公共语义的区域。以公共语义区域的匹配质量衡量匹配尺度对待匹配图像对的适用性,进而实现不同图像对下的匹配尺度自适应选择,以及特征金字塔的灵活构建。实验证明提出的方法能够处理更多的类内变化,降低杂乱背景的干扰。 最后,提出一种基于联合匹配策略的图像匹配方法。图像匹配的核心任务是跨越物体间巨大的类内变化完成具有相似语义物体的相关性构建。联合匹配策略利用同类别多张图像提供的额外信息,挑选中间图像插入到待匹配图像对之间,将巨大的差异分解为多个可被容忍小差异,以得到多个可靠的相关性估计。利用多个可靠的相关性的叠加结果代替待匹配图像对间估计的不可靠相关性,以提高图像匹配方法对巨大差异的处理能力。基于环一致性限制,将联合匹配中挑选中间图像的过程转化为匹配图中搜索最短匹配路径的问题,构建出面向图像集的多层匹配图。提出基于经典最短路径搜索算法的优化方法,实现多层匹配图的优化。实验证明提出的方法能够将巨大类内变化分解为多个小的类内变化,获得更高的匹配准确度。 通过融合三个层面的方法/策略,提出的方法能够很好地处理种类级别的图像匹配问题。针对计算机视觉领域中的不同问题,以图像匹配作为核心功能,通过具有相似语义区域的相关性估计,提出相应的解决方案,证明本文提出的方法的实际应用价值,以及其在图像理解问题中的普遍适用性。