多模、多视角图像的配准融合在三维重建、医学图像处理和三维显示中具有巨大的应用价值。如果能够在一幅图像上显示多个模态的信息,将极大地为医生对病情的判断提供依据,而实现多模图像融合的关键是图像配准。图像配准是通过对不同条件下(时间、设备、亮度、拍摄位置和角度等)得到的多幅图像寻找变换关系来进行最佳匹配的过程,换言之就是通过寻找空间映射关系,使得两幅图像中对应于空间同一位置的点一一对应起来。图像配准分为三大类:基于灰度、基于变换域以及基于特征的图像配准方法。基于特征的配准算法对噪声、形变等具有更强的抗干扰能力,计算量也比较小,鲁棒性更高,这些优势使得基于特征的配准算法得到了广泛的应用。SIFT(尺度不变特征变换)算法能够对尺度、旋转、光照产生不变性,是基于特征配准算法中最为有效的特征点匹配算法,该方法主要解决同源图像的尺度、旋转、照明变换的配准问题,对于多模图像配准的效果很差。本文引入了深度学习的方法来进行图像的特征提取。通过大量的含有图像尺度、旋转、照明、视角、非刚性变换的图像对对Siamese卷积神经网络进行训练学习,通过Siamese卷积神经网络提取的128维特征向量,能够抵抗尺度、旋转、照明、视角以及非刚性变换,相对于SIFT算法提取的人为定义的梯度特征信息,Siamese卷积神经网络提取的特征向量更加丰富、全面,更具有针对性,有助于图像特征点的匹配。多模图像由于成像方式的不同导致图像配准存在一定的复杂度,常规方法得到的配准效果并不好,本文在引入Siamese卷积神经网络进行特征向量提取的基础上,在对多视角图像进行处理的过程中与SIFT特征点提取方法结合起来,对于多视角图像配准取得了更好的效果;对于多模图像的配准问题,也得到了不错的配准效果。