影像三维重建是摄影测量与计算机视觉领域长期研究的一个基本问题。影像作为探知物体表面三维形状信息的重要数据源,在经济性、便捷性、灵活性等方面具有其他技术手段（如激光测量、微波干涉测量）无可比拟的优势。摄影分辨率的提高,以及倾斜摄影测量的大范围应用,使得对城市场景进行精细的空间感知成为可能。而高质量的三维重建是全方位城市空间信息感知的重要前提。面向城市场景,实现能够自动、精确、有效、完整反应地物结构信息的三维重建仍然存在很多挑战,当前重建结果中存在着大量凹凸不平的现象,同时明显的阶梯效应（fronto-parallel）也限制了重建结果的应用。然而,城市场景中存在着大量的平面结构、锐利边缘和角点,这些明显的几何特征为三维重建带来挑战的同时也提供了更加丰富的约束条件。传统的影像匹配算法并不能为这些约束提供很好的理论支持和技术实践。本文以城市场景多视影像三维重建为基本问题,提出顾及平面、锐利边缘以及角点等城市场景特有几何结构的重建方法;借助二维影像与三维空间信息的对应关系,利用多种条件约束构建目标函数并进行全局最优求解,实现城市场景三维信息的高精度恢复以及形状结构的准确高效表达。具体的研究工作如下:（1）顾及平面结构信息的多视影像深度图重建（PMVD）。研究有效利用城市场景中广泛存在的平面结构,通过全局优化策略获得多视影像的深度图与法向量图。首先,对影像进行分割获得具有一定均一性的分割块,接着以平面几何模型为基础,利用鲁棒的相似性测度与平滑性约束构建能量函数,并进行迭代优化,每次迭代中,首先利用改进的Patch Match获取若干候选局部平面,接着利用自适应流形滤波对匹配代价进行聚合,然后应用置信传播获得每个像点对应的最优物方平面,最后对异常估计值进行剔除。定性的实验表明在平面场景本文算法能够有效保存平面结构信息,在深度不连续区域也能避免过平滑的现象;定量实验表明本文算法在航空影像上的重建精度比主流算法提高一倍,在地面影像中可以获得与当前最优算法相当的重建精度。（2）多结构特征约束的像方三角网三维重建（IMGTR）。考虑到直线段与角点对城市场景中地物的几何结构具有较好的描述能力,本文提出了利用直线段、角点、平面的多结构特征约束的像方三角网三维重建方法。首先,利用特征提取获得的直线段与角点构建密度自适应的像方三角网,然后在影像相似性测度与平滑性约束的基础上,在相邻三角面片间施加连续性约束构建能量函数,最后通过类EM优化框架进行能量最小化,为每个像方三角面片确定最优的物方平面。在优化过程中,通过图割对影像断裂线进行确定,进而提高重建结果在影像边缘的表现能力。定性实验表明该方法能够获得可以准确表达地物几何结构的重建结果;定量实验表明该方法三维信息的重建精度明显优于当前主流算法。（3）基于多视影像的三维结构信息融合。对于利用多张影像生成的、蕴含地物几何结构信息的三维重建结果简单合并会严重破环原有的几何结构信息。本文对此进行探索,针对IMGTR生成的、带有三维信息的像方三角网融合问题,提出面向地物结构的三维信息融合方法,实现地物轮廓线重建。首先利用平面结构进行约束,在影像中确定影像轮廓直线段特征;然后构建交叉结构并确定不同影像中该结构的对应关系;最后以交叉结构为引导,对几何结构信息进行融合,获得能够准确描述地物几何形状的三维轮廓直线段,进而实现三维信息的有效表达。