城市场景三维重建一直是计算机视觉、计算机图形学与摄影测量领域中的一个研究热点，且在城市规划、数字文化遗产保护、虚拟现实、车辆导航等领域具有广阔的应用前景。传统的大范围城市场景重建主要以垂直对地拍摄的航空影像或激光雷达数据为主。近年来，摄影测量领域的数据获取装备研制取得了较大进展，特别是作为对传统垂直航空摄影技术深刻变革的倾斜航空摄影技术的出现为城市场景三维重建提供了新的技术手段。此外，在计算机视觉领域，一方面基于多视立体视觉的稠密重建技术不断完善，在某些应用场景下甚至可以重建出与激光雷达精度相当的稠密点云。另一方面，以卷积神经网络为代表的深度学习技术快速发展且已在图像分类、语义分割、目标检测等领域取得巨大突破，并在多个特定应用场景下超过了人类视觉的判别能力。本文旨在将视觉领域中在多视立体视觉与深度卷积神经网络等方面取得的新进展应用到基于倾斜航空影像的城市场景三维重建过程中。通过对倾斜摄影中的城市场景三维重建与语义分类问题的研究，构建语义化城市场景三维模型，更好的服务于智慧城市建设。本文的主要工作包括以下几个方面:　　1.提出了一种基于倾斜航空影像的语义化稠密点云重建方法。该方法主要包含地理重建、几何重建及语义重建三个步骤。在地理重建过程中所有影像在世界坐标系下的绝对位置和姿态信息被计算出来。在几何重建过程中通过将城市场景先验信息融入到基于面元的多视稠密匹配过程中，提高了算法的重建质量和计算效率。在语义重建过程中，设计了一种基于专家知识的层次化分类方法，将建筑、植被、道路等语义信息赋予三维稠密点云，实现了语义化城市场景重建。　　2.提出了一种基于三维稠密点云的城区建筑物快速提取与建模方法。该方法主要包含稠密点云生成、格网投影、特征提取、建筑物识别与建筑物建模五部分。算法通过格网投影将复杂的三维建筑物检测问题转化为相对容易的二维图像分割问题，并通过构建马尔科夫随机场模型实现了建筑物的自动检测。最终经过形态学滤波、连通域分析、轮廓查找与简化、模型生成等系列步骤实现了LOD1(Level of Detail1)级建筑物模型自动构建。　　3.提出了一种基于随机森林混合模型的城市场景语义分类及建筑物三维模型构建方法。该方法针对基于真正射影像与数字表面模型相结合的城市场景表达方式，通过特征提取、分类器训练与分类结果精化三个步骤实现了城市场景的语义标记。算法通过子场景划分与基于贝叶斯加权的多随机森林模型融合方式来应对大场景中训练样本过多的问题，并通过改进的全连接条件随机场模型实现了语义标记结果的精化。最终基于精化后的语义标记结果实现了LOD1级建筑物几何模型自动构建及建筑物顶面的纹理映射。　　4.提出了一种基于深度卷积神经网络的城市场景语义分类方法。该方法以VGG-16及ResNet-101两种网络结构为基础，通过多核孔洞卷积、基于数据增广与跨场景学习的模型增强、多模型融合和基于全连接条件随机场的精确地物边界恢复四个步骤实现了语义标记精度的逐级提升。并通过引入切分与合并机制解决了现有卷积网络无法直接对超大幅面影像进行标记的问题。最终本文方法在国际摄影测量与遥感协会组织的语义标记竞赛中取得了较好的结果。