三维模型已经逐渐成为城市空间基础设施的重要组成部分,城市精细三维模型是智慧城市建设与城市安全保障和VR/AR等智能应用的关键基础信息,在城市规划、城市管理、城市监测等诸多应用中扮演着重要的角色。倾斜摄影测量因为大范围、高精度、高清晰的复杂场景感知能力而成为城市精细化三维建模最有发展前景的高新技术。移动测量车等地面平台在城市广泛采集街景数据,使三维城市建模的数据来源更加丰富。当前利用航空倾斜影像获取的实景三维模型正逐渐成为地理信息基础设施建设的主要数据产品,然而在建筑物立面,特别是高层建筑物的立面下部,由于视角差异、遮挡问题,模型精度、质量难以保障。另一方面车载移动测量系统虽可提供较好的街道两侧及路面信息,受数据采集局限,无法获取屋顶及其他无法到达区域的数据。对于建筑密集城区,单一航空或地面影像数据都难以完整重建精细化的三维建筑模型。空地平台的数据相互补充、集成处理为三维城市模型重建提供新的可能,集成航空与地面数据的三维城市精细化建模因此成为国际研究的热点。航空平台获取的影像范围大、具有较好的初始POS信息,但建筑物侧面常存在遮挡,且空间分辨率较低;地面平台获取的影像具有较高的空间分辨率,但覆盖范围较小、初始POS信息不够准确。不同平台采集的影像存在空间参考不同,数据精度不一,采样密度不均,覆盖范围有别等多维度不一致性的问题。传统数据处理方法可以较好的单独处理航空倾斜影像或地面观测数据,但无法有效集成二者于三维建模等应用。因此,有效集成空地平台获取的观测数据实现优势互补,重建高精度三维城市模型成为学术界和生产实践面临的重大挑战。如何统一空地平台观测数据的时空基准,并协同运用二者生成高质量三维模型是计算机视觉与摄影测量领域亟待解决的难点问题。为此,本文围绕航空倾斜影像与地面观测数据的集成处理及建模中存在的问题,深入分析问题的成因,提出创新性的解决方案,突破空地影像特征匹配、联合平差、影像及点云数据融合建模等关键技术,得到空间范围更广、几何精度更高、纹理辨识度更细、边界更加规则的三维点云及建筑物模型。通过回顾已有三维城市建模研究及工程案例,本文将空地数据集成建模中存在的问题归纳如下:1)跨平台影像匹配是多平台影像集成应用的基础,由于航空倾斜影像与地面影像拍摄角度及地面分辨率差异极大,传统图像特征匹配算法应用于空地影像对时匹配效果不佳。2)由航空倾斜影像与地面影像组成的联合观测网中,跨平台匹配点数量不可避免的小于同平台匹配点数量,且跨平台连接点空间分布不均,直接采用传统光束法平差容易陷入次优解。3)地面车载移动测量平台在建筑物高耸的城区卫星定位信号不准确,其轨迹数据绝对定位误差较大,进而降低地面车载影像及激光雷达点云的绝对测图精度。4)由于单一平台影像观测角度的限制,航空影像密集点云与地面影像密集点云在覆盖范围、几何精度、噪声分布上存在差异,简单融合存在噪声混杂、数据冗余的问题,影响后续建模精度。5)摄影测量密集点云中提取的建筑物边界受噪声影响存在边界退化等问题,传统边界提取及规则化方法难以平衡正则性与保真度。针对以上问题,本文深入分析航空倾斜影像与地面数据的各自特征,结合实际应用需求,提出了创新性的解决方案。具体研究内容包括:第一,针对空地平台获取的影像对视角差异大、几何变形严重、尺度变化明显,传统图像特征匹配效果不佳的问题,本文提出了一种物方三维信息引导的空地影像匹配方法。由于航空倾斜影像与地面数据各自的处理流程已经趋于成熟,空地平台获取的观测数据可认为在物方已经粗略配准。另一方面,航空倾斜影像与地面影像的公共可视区域主要集中在场景中的垂直结构,在城区中则是建筑物立面。因此,本文首先从航空倾斜影像的物方密集点云中提取竖直平面作为基准平面,然后根据初始空地影像方位元素判断各张影像对基准平面的可视性,进而选取具备一定重叠的空地影像对。为了减小空地影像对之间的透视投影变形与尺度差异,本文以物方基准面为参考,结合初始外方位元素信息,将原始影像投影到近似正射于基准面的角度,并统一纠正后影像的地面分辨率。然后运用SIFT算子在纠正后的影像中进行特征提取、特征匹配、粗差剔除。最后,将匹配点的像方坐标反投影致原始影像中,得到空地影像之间的同名点。为验证该方法的匹配效果,本文采用国际摄影测量与遥感学会(ISPRS)提供的基准数据进行实验对比。具体实现中,将本文提出的匹配策略与GPU加速的SIFT算法配合使用,并与传统GPU加速的SIFT算法及其他六种影像匹配常用算法进行对比。实验结果表明,采用本文提出的影像匹配策略可以大幅度提高空地影像对之间的匹配点数量,支持后续空地影像联合观测网平差,为后续空地协同三维建模提供重要基础。第二,针对航空倾斜影像与地面影像组成的联合观测网中,跨平台匹配点数量不可避免地小于同平台匹配点数量,且跨平台连接点空间分布不均的问题,本文提出空地影像观测网两步平差方法。经过了传统单一平台数据处理,航空倾斜影像及地面影像数据在平台内部的几何一致性已经比较满意,但是两个平台之间可能存在跨平台的几何误差。另一方面,空地影像之间的匹配点可能占据地面影像中的大片区域,但是在航空影像中可能只集中在某一小块区域,传统自由网平差应用于空地联合观测网时可能导致不稳定的平差结果。因此,本文提出一种全局变换约束下的两步平差方法:首先,将空中影像与地面影像看作两个刚体系统,仅采用跨平台匹配点计算两个平台之间的刚体变换参数。然后,将所有匹配点均纳入到观测网中进行平差,并将上一步中算得的刚体变换参数作为带权观测约束。最大程度地发挥跨平台匹配点对空地观测网的几何融合效果,同时顾及同平台影像之间的内部一致关系。为验证该方法的平差效果,本文使用ISPRS提供的基准测试数据及其公布的检查点为物方参照,使用同一套匹配点分别用本文提出的方法与传统光束法平差方法进行比较。实验结果表明,相较于传统光束法平差,使用本文提出的两步平差方法可获得更高的物方检查点精度。此外,空地影像联合观测网比单独地面影像观测网获取的物方精度更高。第三,针对地面车载移动测量平台在建筑物高耸的城市区域卫星定位信号不稳定,轨迹及观测数据物方绝对精度较差的问题,本文提出一种空地桥接的车载移动测量轨迹及测图数据优化方法。由于地面车载移动测量系统的相机镜头位置及姿态相对车身固定,且经过系统处理的车载移动测量影像与车载激光点云数据已经相互配准,因此可先利用具有绝对位置信息的航空倾斜影像对地面车载影像的外方位元素进行优化,再利用优化前后的影像外方位元素信息修正移动测量车轨迹及点云坐标。在空地影像组成的联合观测网中,使用航空倾斜影像的外方位元素信息作为绝对空间参考,更新地面车载影像的外方位元素信息,然后利用相机与车体之间的固定相对位置关系反算移动测量车的行驶轨迹。在此基础中,本文提出一种空间关联的车载激光点云纠正方法:根据每一站地面车载影像优化前后的外方位元素可估算地面测量网在该站位置的点位置纠正矩阵,该矩阵代表了优化后的车载影像在此位置的平移及旋转参数。对每个车载激光点选取与其最近的N站地面影像为参考,综合运用这N站影像的点位置纠正矩阵及该点的初始位置信息通过最小二乘观测得到该点的纠正后位置。为验证该方法的有效性,本论文使用了香港长沙湾地区和荔枝角地区两条典型密集建成区车载移动测量数据进行实验。实验结果表面,经过本文提出方法进行优化之后,车载移动车辆系统的轨迹数据绝对精度提高3-34倍不等,绝对测图精度由优化前的米级提高到分米级,大大提升了地面车载移动测量数据的可用性。第四,在消除了航空倾斜影像与地面数据的几何不一致性之后,针对空地影像对观测角度差异过大,大范围密集匹配困难的问题,本文提出一种空地影像密集点云融合及构网方法。本文采用分别从航空倾斜影像及地面影像生成密集匹配点云,然后生成融合点云的技术路线。由于平台特性存在差异,通过航空倾斜影像获取的密集点云往往覆盖范围较广,但是点云密度较低且在建筑物立面噪声较大;与之相反,地面影像密集匹配点云虽然密度较高,位置信息也更准确但覆盖范围不全,不仅屋顶信息缺失,且在视差断裂区域存在较大噪声,简单融合存在噪声混杂、数据冗余的问题,影响后续建模精度。为此,本文通过平台间的交叉深度验证剔除密集点云中的噪声,然后综合考虑点云密度、法向量以及空间邻接性,得到几何精度高,空间连续性好的融合点云。在点云去噪过程中,将航空与地面点云分别以相异平台的影像及点云为基准,检测像素级深度冲突。具体来讲,先将基准平台获取的点云反投影都影像中,获取基准影像的深度信息。然后将待处理点云投影到基准平台影像中,获取待处理点云在相异平台影像中的深度信息。理论上说,对于某张影像中的某个像素,相异平台点云深度应不大于相同平台点云的深度。因此,如果相异平台深度大于相同平台深度超过某一阈值时,该点的位置信息存在深度冲突。如果某个点在多张基准相异平台影像中均存在深度冲突,那么它被判定为噪声点并予以剔除。在此基础上,本文提出一种基于超级体素的空地融合点云优选方法:首先对空地融合点云建立八叉树,然后进行区域生长得到由同质点云组成的超级体素及其邻接关系。接着计算每个超级体素中航空点云与地面点云占比、法向量等信息并映射为图的节点及相邻边。最后通过能量方程的最小化对每个体素进行标记,选择超级体素中密度大、空间连续的源点云组成空间最大覆盖的空地融合点云。最后使用经过优选的融合点云恢复三维表面模型,并提取对应区域的空地影像块融合得到纹理贴图。为验证该方法的实际效果,本文采用香港荔枝湾及长沙湾两个区域的空地影像进行实验,荔枝湾实验区的空中影像由七镜头倾斜摄影测量相机采集,地面数据由车载移动测量系统采集;长沙湾实验区的空中影像由双镜头无人机采集,地面影像源自地面站人工拍摄。实验结果表面,本文提出的点云去噪方法可以大幅降低原始密集匹配点云中的噪声,采用本文提出的点云融合方法可获得覆盖范围全面的最优精度空地融合点云。使用空地融合点云及空地影像建立的三维表面模型具有更高的几何精度及纹理分辨率。第五,针对空地摄影测量密集匹配点云中提取的建筑物边界特征退化、噪声严重等问题,研究提出了建筑物边界特征的层次正则化方法,将建筑物边界的正则化分为局部和全局两步处理。本文首先基于RANSAC算法提取建筑物点云中的平面点云,并根据平面的法向量将法向量近似的平面归为一组,投影到二维平面。然后根据每组平面之间的相交关系计算每组平面之间的交角。接着,在局部对每个平面提取二维边界,计算每个边界点的邻接点及其法向量。在此基础上,通过邻接关系及初始法向量先对边界点的法向量进行优化,然后根据优化后的法向量对原始点位置基于最小二乘准则进行微调,得到分段平滑的直线段。在平面组内的每个平面都进行了局部处理之后,对每组内的直线段进行全局规则化处理。本文将每条直线段抽象成中心点及其方向角,将直线段的规则化问题转换为方向角的标记问题,并投射到马尔科夫随机场通过图割法求解。具体而言,首先将同组内的所有方向角及不同平面组之间的交角合并生成方向角度池;然后根据角度池中的方向角及每条直线段的中心点生成一些列直线段假设,保证规则化之后的直线段为这些假设中的一种组合;接着通过能量方程描述每种假设的数据拟合惩罚及平滑性惩罚。对原始边界点云拟合程度越高的直线段假设其数据拟合惩罚越小,反之越大。初始角度越相近的直线段标记为不同角度标签的平滑性惩罚越大,反之越小。最后,通过图割法获取最优解,得到全局正则化的建筑物边界。为验证该方法的有效性,本文采用香港中环地区的倾斜摄影测量密集点云进行实验,并与其它五种具有代表性的边界简化及规则化方法进行对比。实验结果表明,本文提出的建筑物边界规则化方法取得的效果最优,可使场景内90%的建筑边界具备正则化关系,几何精度达到0.2 m,显著提高了建筑物边界的规则性。突破了现有方法保真度与正则性无法两全的难题,不仅能生成全局正则化的建筑物边界,而且具备较高的几何精度。本文提出的空地数据集成处理框架及三维建模方法能够有效集成航空倾斜影像与地面影像及激光点云,提高三维点云的覆盖完整度与几何精度。能够生成几何精度与纹理辨识度更高的三维表面模型,并显著提升建筑物三维自动重建的精细化模型质量。本文的探索及发现拓展了城市地区空地数据集成三维建模的知识疆域,为大规模自动化生产精细化的三维城市建模提供理论依据和技术支撑,相关技术可以广泛应用于城市规划管理、城市监测和环境研究等领域。