图像匹配是将不同图像转换到一个坐标系下的过程,它可以是多张来自不同传感器、不同光照或不同视点的照片。传统匹配算法通过三步来对图像进行匹配,首先是对图像提取关键点,然后对关键点进行特征提取,最后按照关键点个相似度和鲁棒估计来计算透视变换矩阵。跨源图像指的是多张来自不同传感器、不同生成方式或者不同模态的照片,与图像匹配类似,匹配的困难程度与图像视点和光照强度的剧烈程度是成正比的。经过实验证明,目前大多数传统算法在跨源图像匹配上有着很大的局限性。因此,为了进一步提升图像匹配的准确性,本文对跨源图像匹配的技术进行研究。该研究主要分为跨源图像块特征提取和端到端图像匹配神经网络两个部分。首先,针对跨源图像特征描述提取难的问题,本文提出了一种基于自动编码机和孪生结构的深度神经网络H-Net和H-Net++。该网络的核心是使用自动编码机来提取跨源图像块的特征,然后再将特征还原为原图,以此提取得到可靠的特征描述。使用孪生的结构来训练网络,使得网络提取的特征描述在尺度空间中朝着“类内间距尽可能小,类外间距尽可能大”的方向优化。实验表明,H-Net和H-Net++分别在跨源图像块匹配判断和检索上,比之前最好的方法L2-Net平均提高了8%的准确率。其次,现有的关键点检测算法在跨源图像上都难以提取令人满意的关键点。因为本实验中使用的合成图像有着图像扭曲大和纹理模糊等因素,所以如何提取可靠的关键点是一个难题。本文受到LF-Net[1]端到端图像匹配网络的启发,设计了基于感受野的关键点检测网络,再针对端到端匹配下存在的标签歧义性提出了损失函数项近邻掩码。结合这两项创新,本文最后提出的端到端图像匹配网络RF-Net在多个公开数据集的多个指标下,比之前最好的方法LF-Net平均提高了20%。