基于卷积神经网络特征的图像匹配研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:wudajiang1213
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像匹配是计算机视觉领域的重要研究方向,该问题关注于图像间共有语义区域之间的相关性构建,即基于描述图像间相关性的流场,两幅图像中相似部分尽可能地重叠。图像匹配在很多研究领域具有广泛的应用价值和迫切的实际需求,其准确性和计算效率对相关问题的解决起到至关重要的作用。由于当前图像匹配应用背景的广泛性和数据来源的多样性,导致现有匹配算法的使用范围受到限制。特别是匹配拥有同类别物体的图像时,其共有物体的巨大类内差距,使图像匹配工作更具有挑战性。  计算机视觉是研究如何令计算机“理解”图像的学科,其目标在于跨越像素与视觉信息之间的鸿沟,实现图像或多维数据到语义信息的转化。因此,构建同类物体相关性的图像匹配能够为处理、分析和理解视觉信息提供可行途径,最终构建起计算机解决实际复杂问题的人工智能系统。为了处理图像间的巨大差异,结合卷积神经网络特征,本文从像素(特征)、图像和图像集三个层面上讨论提高图像匹配精度的方法:  首先,提出一种基于卷积神经网络特征的图像匹配方法,利用卷积神经网络特征对图像视觉信息表达的卓越能力,提高图像间相似区域的相似性衡量。一方面,分析卷积神经网络特征对视觉信息的表达能力,体现出卷积神经网络特征的内在固有相关性,以验证其应用于图像匹配的可行性。另一方面,分别定义衡量特征相似度的数据项和表示空间限制的平滑项,以此构建图像匹配的优化目标,利用双层置信传播算法进行优化,并估计出图像间的相关性。相对于传统局部描述子,实验证明卷积神经网络的中层特征和高层特征更适用于解决种类级别的图像匹配问题。  其次,提出一种基于特征金字塔的层次化图像匹配方法。卷积神经网络为图像构建了层次化表达模型,不同层输出描述了图像不同层次的视觉信息,深入分析则验证了多层特征对视觉信息表达的互补优势。基于卷积神经网络特征金字塔,引入由高层至低层的指导项,构建层次化匹配的优化目标。一方面,利用高层语义匹配避免复杂背景的干扰,并削弱低层特征带来的语义模糊性,快速完成相似语义区域的匹配。另一方面,利用低层细节匹配改善高层匹配的“粗”相关性估计,实现细粒度的相关性估计。  同时,针对图像间不同相似程度的问题,引入匹配尺度自适应选择机制,避免强行匹配底层非共有细节导致匹配准确率的降低。基于卷积神经网络内部反馈机制,提出面向图像对语义相关的显著图,突出图像间具有公共语义的区域。以公共语义区域的匹配质量衡量匹配尺度对待匹配图像对的适用性,进而实现不同图像对下的匹配尺度自适应选择,以及特征金字塔的灵活构建。实验证明提出的方法能够处理更多的类内变化,降低杂乱背景的干扰。  最后,提出一种基于联合匹配策略的图像匹配方法。图像匹配的核心任务是跨越物体间巨大的类内变化完成具有相似语义物体的相关性构建。联合匹配策略利用同类别多张图像提供的额外信息,挑选中间图像插入到待匹配图像对之间,将巨大的差异分解为多个可被容忍小差异,以得到多个可靠的相关性估计。利用多个可靠的相关性的叠加结果代替待匹配图像对间估计的不可靠相关性,以提高图像匹配方法对巨大差异的处理能力。基于环一致性限制,将联合匹配中挑选中间图像的过程转化为匹配图中搜索最短匹配路径的问题,构建出面向图像集的多层匹配图。提出基于经典最短路径搜索算法的优化方法,实现多层匹配图的优化。实验证明提出的方法能够将巨大类内变化分解为多个小的类内变化,获得更高的匹配准确度。  通过融合三个层面的方法/策略,提出的方法能够很好地处理种类级别的图像匹配问题。针对计算机视觉领域中的不同问题,以图像匹配作为核心功能,通过具有相似语义区域的相关性估计,提出相应的解决方案,证明本文提出的方法的实际应用价值,以及其在图像理解问题中的普遍适用性。
其他文献
随着国内“三网融合”业务的逐步推进,基于同轴网的以太网(EthernetoverCoax,EoC)技术在接入端的优异性能,使得基于无源光网络的以太网技术(EthernetPassiveOpticalNetwork,EPON)+EoC
随着经济的发展和社会的进步,对于人进行身份的认证和识别日益成为一个拥有广泛发展前景与巨大经济价值的课题。在这一课题当中,人脸识别技术又是其中一个广受研究者重视的研究
自动信任协商系统的目标是允许两个实体安全地交换X.509格式的数字证书,这样的数字证书通常包含一些敏感信息,例如:姓名,地址,生日,成员以及访问控制策略。协商双方都希望披露给对
车辆识别技术是智能交通的重要部分,与传统的交通管理方法相比,在交通管理的各个领域有着广泛的应用前景,对改善我国内地的交通状况,完善车辆管理体系,实现交通管理的科学化、以及
异常检测在机器学习和模式识别领域可以看作是单类分类问题,单类分类器仅需使用正常数据进行训练,但是可以将待测样本分类为正常数据或异常数据。迄今为止,出现了很多单类分类器
随着计算机网络和相关技术的发展,网络化和全球化已成为了现代经济发展的主要特征。现代市场环境急剧变化、企业之间的竞争日趋激烈的背景下,企业管理者面临着困境,当出现市场机遇时,企业想要只凭自身的资源往往很难抓住稍纵即逝的市场机遇,虚拟企业也就应运而生。虚拟企业是应对市场竞争环境变化的一种柔性的能快速反应的网络化分布式动态组织。当市场出现新机遇时,具有不同资源与优势的企业,组成联合开发、互惠互利的企业联
SOA是当前软件发展的大趋势,而这其中最核心的技术就是Web服务。随着Web服务技术不断地发展和广泛的应用,需要运用测试技术来保障Web服务正确有效地运行。然而由于Web服务采用
虚拟化技术是当前学术界研究的热点,也是计算机科学领域发展最快的技术之一。虚拟化技术通过对硬件资源的虚拟化,可以在一台计算机上虚拟出多个计算机硬件,从而能够同时运行多个
随着计算机科学的快速发展,网络已成为人们日常获取信息和知识的重要途经,网上的数据急速增加,用户很难快速地从搜索引擎中获得自己所需的有效信息。自动问答系统的出现允许
我国历史悠久,埋藏在地下的文物十分丰富。考古发掘既是一项科学研究工作,又是文物保护的一种手段。作为一种记录和交流的载体,考古制图在考古发掘工作中扮演着重要的角色。