随着激光扫描、网络图像库、遥感测量、虚拟现实等技术的迅速发展以及“数字地球”概念的提出，全球各大城市争相建立自己的虚拟城市场景。构建大规模城市场景的三维模型在城市规划、城市监控、智能交通、三维地图、城市中的文化遗产保护、真实感游戏、虚拟战场、自然灾害与恐怖袭击等事故应急处理、污染物扩散的模拟与仿真等方面发挥着重要作用，而且随着城市信息化程度的提高，城市场景的三维模型将得到更加广泛的应用。建筑物是城市场景中的主要组成部分，针对建筑物三维重建的研究一直是城市场景三维重建的研究热点。本文面向建筑物三维重建的实际需求，针对目前建筑物三维点云数据生成、处理以及模型生成的不足，深入研究了无序建筑图像的快速排序、多视角图像立体匹配、车载LiDAR点云的增强与去噪、以及基于语法规则分割的建筑物墙面三维重建等多个热点和难点问题。主要贡献包含以下几个方面有：1.针对目前从运动恢复结构（structure-from-motion，简称SfM）对于具有自相似性的建筑物图像注册错误和计算时间长等问题，提出了一种针对无序建筑图像的快速排序方法。该方法可以快速地计算出一个分段平面的建筑模型，图像之间的匹配连接图，以及每幅图像的初始相机参数。该方法首先对单幅图像进行分析得到分割的墙面图像集合、局部分段平面模型以及局部相机参数，然后通过对墙面图像在单幅图像上的左右顺序推理得到建筑物的几何结构，最后计算出每幅图像在全局坐标系下的相机参数。该方法不仅得到了一个建筑物的分段平面模型（可用于一些虚拟场景应用中），而且所得到的初始相机参数可用于加速SfM的计算过程。2.针对目前立体匹配中邻域选择过于简单引起匹配精度不高的问题，提出了一种基于图像分割和高阶马尔可夫随机场的立体匹配方法。该方法首先提出了一种针对高阶马尔可夫项的图割求解方法，然后将高阶马尔可夫项引入到立体匹配中。在立体匹配中，将图像按颜色聚类分割为图像片段，并假设处于同一图像片段内的像素具有相近的视差或深度值。为了确保同一图像片段内的像素具有相近的视差和深度值，在马尔可夫随机场能量公式中引入了高阶马尔可夫项用来约束图像片段内像素的视差或深度取值。3.针对车载激光扫描点云因遮挡、扫描路线及射程受限所得到的点云出现缺失、分布不均匀等问题，提出了一种基于非局部思想的三维点云增强方法。该方法利用建筑物的自相似性以及结构的重复性，将重复结构的点云表示为基本几何元素，并在参数空间对基本几何元素进行聚类，选择有代表性的基本几何元素，然后利用代表基本几何结构对三维点云进行补全、去噪、增强等处理。该方法针对多组不同风格、不同复杂程度的点云数据，能利用重复性特征补全点云缺失部分，得到完整的、分布均匀、干净的三维点云数据，所得到的三维点云可进一步用于三维重建。4.针对目前点云重建方法对建筑物三维点云重建所得到的网格模型多边形面片数量巨大、尖锐特征区域重建结果不理想等问题，提出了一种基于语法规则分割的建筑物墙面重建方法。该方法将三维点云分割平面集合（在此称为深度层），引入语法规则系统对深度层进行二维分割，根据点云的分布情况，将深度层分割为四边形集合，并根据深度层之间的位置关系及点云分布生成连接深度层的层间四边形集合，最终的网格模型由这些四边形组合而成。该方法克服了传统的三角剖分、隐式曲面重建等点云重建方法对于人造物体的建模并不理想、引入多边形面片数量巨大等问题。