随着信息技术的飞速发展,电影、游戏等各个行业对三维模型的需求日益增加,三维重建变得越来越重要。三维重建的关键,在于图像或点云的配准,亦即两帧图像或点云中重叠部分的搜寻。当前的图像或点云配准方法,主要是基于低层视觉特征,以描述子之间的距离作为匹配依据。但对于纹理较少的场景,特征点的提取较为困难,在重复结构较多的场景中,基于局部信息的特征点匹配也难以胜任。鉴于低层视觉特征存在的弊端,同时考虑到任何场景都有其语义信息,高层语义信息相比起低层视觉特征在内容上也更加丰富,本文引入了高层语义信息,以解决纹理较少、重复结构较多的场景中的图像/点云配准与三维重建问题,更具通用性与鲁棒性。基于此,本文的主要研究内容如下:(1)基于图像中的重复结构,将图像匹配转化为网格匹配,进而简化为行列偏移问题。通过行列偏移得出正确的重复结构网格匹配之后,再基于网格的顶点和边得到相应的点和线段的匹配关系,从而实现分层次、由粗到精的图像配准。相比于传统的特征点提取与匹配,我们的方法以全局的重复结构信息为基础,实现了图像中重复结构的自动检测与匹配,避免了对局部特征的依赖。实验结果表明,对于特征点法难以匹配的纹理较少、重复结构较多的场景中的图像,我们的方法可以实现精确的图像配准。(2)基于点云的语义信息,将每个物体抽象为一个结点,将物体之间的相邻关系抽象为边,构建图数据结构,并定义为“语义连接图”。基于语义连接图之间的子图匹配,得到两帧点云的物体对应关系,并以此为基础,结合对应物体的轮廓等信息,进一步得到足够多且更精确的对应点,以实现分层次的点云粗配准。此后,通过迭代最近点算法,实现点云的精配准,完成由粗到精的点云配准。我们基于语义信息的点云配准方法,利用子图匹配解决点云粗配准问题,避免了特征点的提取与匹配,相比于传统方法更加快速、准确和高效。(3)针对纹理较少而线段较多的场景,引入相邻线段二元组及其描述子,通过共面线段及其交点的匹配,实现了更加通用的图像配准。在含有重复结构的场景中,此处提出的图像配准方法,可作为基于重复结构的图像匹配算法的补充。得到精确的点线匹配之后,我们基于对应点估计相对位姿,基于相邻三张图像间的共面约束关系计算平移向量长度比值,以求解绝对位姿,并基于此实现了高精度的三维重建。我们基于点线匹配的三维重建算法,完全摆脱了对特征点提取与匹配的依赖,同时由于真实空间中的线段不可能脱离平面而独立存在,我们的方法虽然是以共面线段为基础,但实际上对线段之间的位置关系几乎没有任何要求,而只需场景中包含足够多的线段。实验表明,我们基于共面线段及其交点的图像配准算法,不仅可以匹配传统特征点法误匹配较多的视角变化较大的图像,还能匹配特征点法完全无法匹配的多模态图像。我们基于点线匹配的三维重建,不仅在现有数据集上精度达到甚至超越了当前最佳水平,还能基于其他重建方法难以处理的真实图像,重建出高精度的点云,以及被定义为“线云”的三维线段模型。(4)鉴于线段较多的场景中平面也比较多,我们进一步提出了基于三维线云的平面提取算法。通过缩放和平移,我们将每一条三维线段,映射成半径为1的高斯球面上的一个点。真实空间中一组共面的三维线段,对应的高斯球面上的点,理应位于同一个过球心的平面上。特别地,当共面线段互相平行时,球面上的点将彼此重叠,聚集于一个点。真实空间中的平面提取问题,转化成了高斯球中过球心平面的提取,以及较为聚集的球面点的提取。类比霍夫变换,通过球面均匀采样与投票,我们迭代拟合平面,实现了基于三维线云的平面提取。我们的算法以三维线云作为输入,通过高斯球面映射来简化问题,相比传统的基于点云的平面提取算法,更加快速和高效。本文提出了系统的基于语义信息的图像/点云配准与三维重建算法,用于传统方法难以处理的纹理较少、重复结构较多的场景。