随着光电传感技术的蓬勃发展,多光谱（或多模态）图像在计算机视觉和计算成像领域的作用愈发重要,其在遥感分析、场景识别、图像分割、行人检测、行人重识别和图像去噪/去雾/去模糊等任务中表现出众。然而,多光谱（多模态）图像在拍摄过程中易出现成像设备移动和切换等问题,所采集图像很大概率是非配准的,从而对上述视觉任务造成很大困难。因此,图像配准技术对于多光谱和多模态视觉应用至关重要。多光谱（多模态）图像配准主要存在两方面问题,其一,多光谱（多模态）图像由于光谱切换（或模态差异）,广泛存在较大亮度和梯度不一致性,用于RGB图像配准的普通度量或特征描述方法通常会失效,需要构建针对多光谱（多模态）图像的一致性度量或一致性特征。为此,首先需要准确地刻画多光谱（多模态）图像的一致性,或是直接增强其一致性。其二,在一致性度量或一致性特征构建后,需要利用参数优化方法求取图像配准参数。基于以上两方面问题,本文主要开展以下创新性工作:1.为使得多光谱（多模态）图像的配准同时具备鲁棒性和高效性,提出了一种结构一致性增强（Structure Consistency Boosting,SCB）变换,可以显著提升多光谱（多模态）图像的结构一致性。SCB变换将固有边缘的相对显著性转化为绝对亮度以增强亮度一致性,从而可以将RGB图像的普通度量例如SSD（Sum of Squared Differences）、SAD（Sum of Absolute Differences）以及NCC（Normalized Cross Correlation）以较高的精度和效率用于配准多光谱（多模态）图像。实验表明,SCB变换效果优于其它一致性增强算法,并优于多个复杂的多光谱（多模态）配准度量。2.为提升所构建多光谱（多模态）图像一致性特征图的配准性能,提出了利用相位一致性（Phase Congruency,PC）先验构建一致性增强网络,即PCNet。基于PC理论,PCNet将多光谱（多模态）图像中强度不一致的边缘变得更为一致,从而便于利用SSD普通度量配准。实验表明,PCNet的性能优于包括SCB在内的传统多光谱（多模态）配准算法。PCNet还可以作为深度学习配准算法的补充部分,进一步显著提升深度学习方法初始配准后的图像配准精度。3.为突破传统配准参数优化方法带来的性能瓶颈,提出了一种完全基于深度卷积神经网络的图像配准框架,即IHN（Iterative Homography Network）。相比基于多个假设先验的传统配准参数优化方法,如梯度下降和IC-LK（Inverse Compositional Lucas-Kanade）,IHN直接从大量的图像数据中学习配准参数求解的先验知识,迭代过程稳定鲁棒,所获得的配准结果精度高。IHN不仅在公开的多模态图像数据集上拥有最佳的性能,还在普通RGB图像数据和前景运动动态场景数据上优于现有其它算法。