三维重建作为计算机视觉领域的一个核心问题,在当下有着越来越大的应用需求和发展前景。而其中,城市场景的重建对于生产生活有着尤其重要的影响。在众多获取场景三维信息的方法中,基于多视图的方法在成本以及灵活性上有着巨大的优势。然而,现有的多视图城市场景重建方法大多是需要人工干预的交互式算法,不能满足实际运用的需求。而主流的不需要人工干预的自动算法采用先通过计算机视觉算法重建对象的三维点云,再使用计算机图形学算法从点云中重建对象三维表面的流程。这类算法对于场景的结构往往难以准确把握,导致重建结果与真实的对象间存在较大的差异。本文针对多视图的城市场景重建问题,提出了一种改进的点云重建算法,能够较为准确而完整地重建对象的三维点云。针对表面重建中的问题,我们分析了现有的先重建点云后重建表面的算法流程,发现其主要缺陷在于表面重建过程抛弃了图像信息所导致的严重的不确定性,并提出了将图像信息引入表面重建的新的思路和框架。在这个思路的基础上,本文提出了两种城市场景重建的算法。二者均认为重建对象符合Manhattan World结构假设。算法在稠密点云重建的基础上计算点云的法向,运用分支定界的离散优化方法求解对象的三个主方向,然后在场景中聚类得到对象表面可能包含的平面。本文提出的第一个表面重建算法采用深度恢复加融合的框架,在每一个视图中建立图模型并通过图标号的方式将图像中的像素投影到假设的平面上得到深度。过程中运用图像的边缘信息使重建的深度图像不会过于平滑。然后在离散化的空间中进行深度融合来得到对象的三维模型。本文的第二个表面重建算法根据假设平面的位置将空间离散化为非均匀的网格,从而兼顾了算法的复杂度和结果的准确度。随后,算法通过网格中每个面元在图像中的一致性进行表面重建。实验结果表明,在加入了图像信息后,本文提出的两个算法能够准确地把握缺乏纹理的三维场景的拓扑结构,并产生简洁的模型。