影像是人工物体、自然地表三维重建的主要数据源,与此相关的原理与技术在摄影测量和计算机视觉领域得到了长期而广泛的研究。近年来,随着实际应用的发展,经典的影像三维重建理论逐渐显露了适应性不足的缺陷。它们使用一阶梯度的lq范数约束作为正则约束,令形状梯度值趋向于零,从本质上相当于强化平行平面性(Fronto-parallel),从结果上倾向于制造局部水平面。而现实中的地物或地形具有多样化的形状性质,经典理论无法对此进行准确、真实的刻画。本文围绕上述问题,建立了新的影像三维重建通用数学优化模型。该模型采用了数据约束与正则约束结合的经典形式:通过数据约束将立体匹配、形状精化等影像三维重建问题统一于同一理论框架;通过新的正则约束提高模型的形状刻画能力。在新的正则约束中,本文提出了二阶梯度的lq范数约束,它仅仅抑制形状梯度值的空间变化,使其局部不变或者光滑变化,即允许更加灵活的形状变化,从理论上更适合于刻画真实物体形状;此外,考虑到某些应用场景中存在关于一阶梯度的辅助观测,新的正则约束也能由此构建有关一阶梯度取值的额外约束,既提高了优化解算的稳定性,也增强了形状刻画的真实感。新的通用数学优化模型构成了应用问题的理论基础,并将在城市与地表两类场景中进行具体讨论。上述数学模型的正确优化依赖于可靠的初始值,为此,本文对双目立体匹配的稳健匹配测度函数进行了探索。双目立体匹配是影像三维重建初始化的通用技术,本文介绍了一种基于金字塔匹配和多测度融合的半全局立体匹配方法mSGM,它能进行较高精度的匹配,但复杂、耗时的优化计算降低了效率。如果在保持较高精度的同时回避优化计算,则能实现三维初始值的快速获取、乃至三维概览产品的快速生成,因此文中尝试提高匹配测度函数的稳健性。借助深度卷积神经网络工具,设计了序贯卷积网络模型用于提取匹配特征并构成匹配测度,在mSGM匹配结果上进行网络模型训练。实验表明,无需复杂的优化过程,该测度仍能在灰度差异、几何变形干扰下保持较高的精度与稳健性。对于城市场景,本文建立了通用数学优化模型的具体形式,并推导了优化算法。复杂城市场景重建主要采用多视立体匹配技术,其中的地物具有分片斜平面的典型结构(如路面、墙面、屋顶等)。文中采用匹配测度函数作为数据约束,并对二阶梯度施加l1范数正则约束,从而在立体匹配过程中引导构造准确的斜平面结构。借助变量松弛可以得到易于求解的模型近似形式,同时引入灰度自适应引导张量,以调节边缘结构的正则约束强度。在优化计算中,根据局部Taylor展开和“原始-对偶”原理,结合半全局匹配,给出了高效的计算方法。基于在航空垂直与倾斜摄影影像上的实验,该方法取得了优于传统方法的重建精度,并准确地恢复了斜平面结构,较好地保留了平面边缘。而对于地形场景,本文同样建立和推导了通用数学优化模型的具体形式和优化算法。自然地表具有光滑的形状变化,同时表现为影像的明暗变化。出于大范围、低成本地形重建的实际应用目的,本文综合上述性质提出了明暗引导的形状精化数学模型。以低分辨率地形数据为参考,将高程偏差作为数据约束,并在正则约束中采用二阶梯度的l2范数约束以及一阶梯度的辐射一致性约束,从而恢复光滑变化且细节丰富的地形表面。其中辐射一致性基于辐射传输过程建立了明暗与一阶梯度的对应关系。通过变量松弛得到数学模型的近似形式后,首先基于最小二乘和梯度下降进行明暗估计,然后基于Euler-Lagrange方程和Taylor展开进行形状的分步迭代求解。该方法在模拟和真实数据上的实验表明,它能够显著提升重建地形的准确性、精细度、真实感。