基于2D图像和3D点云数据的分析和理解是当前计算机视觉和机器人领域发展的主要方向之一,而2D-2D/3D视觉配准是视觉数据融合的基础。2D-2D/3D视觉配准通过对同一场景不同数据的几何或光谱特征建立匹配关系,以实现2D-2D和2D-3D的转化与融合,广泛应用于遥感观测、机器人导航等领域。然而,2D-2D/3D配准需要依赖准确鲁棒的共现特征提取和一定的先验假设作为支撑,当共现特征信息缺乏时,直接配准则是一个巨大的挑战。在此背景下,本文聚焦于2D-2D/3D视觉特征匹配,分别研究了2D-2D全局配准中的图像整体特征描述,2D-2D局部配准中的图像特征提取与高效匹配,无约束2D-3D全局配准中特征提取和匹配,以及实时2D-3D局部配准中稳定的线特征匹配问题。利用多种2D影像和3D点云数据进行实验验证了相应方法的可靠性和适用范围,并由此提供了一种基于特征匹配的2D-2D/3D全局和局部配准思路。本文的研究内容及主要贡献如下:(1)在2D-2D全局配准中的图像特征描述问题上,提出了一种基于二叉划分树来有效融合颜色、纹理以及上下文信息的特征描述子,以提高图像特征描述的准确性和区分性。该描述子利用图像的二叉划分树结构,实现自底而上的多尺度信息提取与融合。描述子性能在高分辨率遥感影像语义目标匹配和场景分类任务上进行了测试,验证了该描述子具有较高的描述准确性与区分性。(2)在2D-2D局部特征匹配问题上,针对不同源图像配准提出了一种高效稳定的特征提取和匹配方法,以提高特征匹配的鲁棒性和高效性。提出了针对合成孔径雷达(SAR)图像的SAR-FAST特征定位方法和DSP-LATCH描述方法用于双时相SAR图像配准。在特征匹配环节采用基于二进制描述子的局部敏感哈希搜索算法代替传统基于浮点型描述子的kd树搜索算法以提高特征匹配效率。实验时首先在快速无人机影像拼接应用中验证了该框架的匹配效率,然后在双时相SAR图像配准实验中验证了基于SAR-FAST和DSP-LATCH的配准方法的性能。(3)在跨模态2D-3D全局配准问题上,提出了一种基于结构化曼哈顿场景的2D图像和3D点云全局配准方法,该方法可以估计结构化曼哈顿场景中单张图像和3D点云的2D-3D线特征匹配关系和相机位姿。为解决图像2D特征和点云3D特征在定位与表达上的模态差异和表征差异,首先在图像中提取所有的2D线特征和在3D点云中提取几何线特征以保证特征的重复性。然后基于主要消失点和3D平行线之间的几何约束关系来计算相机的若干候选旋转矩阵。进一步利用假设检验策略来估计2D-3D线对应关系和相机位置,同时通过最大化2D-3D线匹配数量消除旋转矩阵的歧义性。最后,通过最小化所有2D-3D线匹配对的重投影误差来优化相机的位姿。在模拟和真实的2D-3D数据集上的实验验证了该方法的有效性。(4)在2D-3D局部特征匹配问题上,提出了一种基于线特征的实时2D-3D局部特征匹配方法,实现了相机在3D点云地图中的实时定位。在处理Li DAR点云和图像之间的模态差异和表征差异时,从3D点云中离线提取线特征,而从视频序列中实时提取2D线特征。在实时2D-3D跟踪定位时,基于视觉惯导里程计预测的相机位姿,可以高效地提取在相机视野中可见的3D线特征并估计2D-3D线匹配关系。之后,在滑动窗口中,通过结合连续多帧的2D-3D匹配线最小化2D-3D匹配的投影误差和剔除错误匹配,来迭代优化相机位姿和2D-3D线匹配。通过在Eu Ro C无人机数据集和用Realsense采集的数据上的实验,验证了该方法可以实时获取稳定的2D-3D线匹配并且高精度地估计相机位姿。