为了实现人类对图像、视频等视觉数据的提炼与挖掘,计算机视觉逐渐发展为一门独立成熟的学科。在众多学科分支中三维重建也拥有着举足轻重的地位,而多模型拟合属于统计学范畴的一大类算法,其应用领域也不拘泥于计算机视觉甚至计算机科学领域,其较高的算法鲁棒性在剔除样本离群点的同时也将样本拟合到了更加恰当的模型上。在针对遥感图像的双目立体视觉系统中,视差计算关系着之后的高程计算,直接影响了重建最终结果的精度与准度。然而,考虑到输入的两幅遥感图像在经过卫星改变视角之后,图像中出现的遮挡区域,同时光照条件改变,大气对光线的衍射所发生的畸变与前景膨胀等现象,导致在右图中找不到左图的一些对应点,使视差图产生空值区域。本文针对该现象尝试结合多视几何理论与多模型拟合算法思想估计出视差不连续区域像素点的近似单应性变换矩阵,从而计算出该点的匹配点坐标,进而估计出该点的视差。在优化视差的过程中对多模型拟合算法进行了针对性的选择和改良,在提高效率的同时也提高了程序的封装性和可用性。最后分别计算待估计点与计算出的该点匹配点两个点集的特征向量并进行抽样匹配,在量化评估视差估计可靠性的同时,与利用局部灰度直方图等传统手段得到的视差估计结果进行比较,立体化展示该方法的可行性。本文的主要工作有以下几点:1、对遥感图像三维重建方向在国内外的研究现状进行调研,总结归纳出不同方法之间的异同,并发现一系列应用算法中的难点与痛点。同时,对多模型拟合算法进行分类别的介绍,结合三维重建阐述两者协同工作的可能性。2、对s2p卫星遥感图像处理流进行针对本文项目的适用性拓展开发,在预处理阶段使用了极线矫正的方法,以最小的误差将视差局限在一个方向上,而在代价计算阶段融合了图像的二阶导数从而进一步丰富了代价函数,提高了立体匹配的精度。3、由J-Linkage算法得到启发,对Seq-RANSAC算法进行了模型局部性初始化的改进,在不影响算法运行效率的前提下,提升模型拟合的效果。在视差分类阶段使用十字搜索与滑动窗口相结合的方法,有效缓解了面积较大空值区域的视差分类单一问题。4、使用项目图像对本文算法进行测试,分别从横向和纵向两个方向进行了对照实验,并使用一种基于SURF描述子的评价指标来定量的分析算法优劣。