三维的地理空间结构在军事作战、地质勘察、无人驾驶等技术领域有着非常大的使用价值,因此地面空间三维信息的获取越来越受重视。基于遥感图像的三维重建有许多优点,比如图像获取范围大、遥感图像可视性好等,所以这方面的研究越来越多。立体匹配是三维重建中的关键步骤,立体匹配的效果对三维重建的精度影响很大。与普通图像相比,卫星遥感图像的立体匹配,具有图像形变较大、光照差异大的特点,比普通图像更难匹配。本文的研究内容是在实现立体匹配算法的基础上,根据遥感图像的特点优化算法,以期得到较好的匹配精度。本文研究内容包括以下几部分。首先,经过评估,本文选择并实现了较适合遥感图像的主流立体匹配算法,基于置信度传播的立体匹配算法。研究表明该算法在城市遥感图像立体匹配中具有独特优势,其匹配率高、空洞少,视差的准确率高。但是,现有方法对于仍有较大的改进空间,首先是建筑物的边缘扩张与平面不够平滑的问题,其次是较高建筑物侧墙匹配不上的问题。所以本文通过改进,使得建筑物或者其他区块能够消除边缘扩张现象以及减少平面内部误匹配造成的空洞。基于置信度传播的立体匹配框架,本文重点对其中的预处理、代价函数选择和后处理进行了优化,在遮挡区域去除和结果平滑方面改善了算法效果。该部分着重于对传统方法的改良和组合使得传统立体匹配方法能够应用在遥感图像上并得到较好的结果。其次,由于遥感图像匹配较困难,经过前一步的立体匹配后,匹配结果存在着建筑物顶部视差扩张和侧墙匹配缺失的问题。针对这两个问题,本文使用创新性的算法步骤进行了处理。对视差扩张采用了平面拟合的方法,包含遥感图像分割、分割块评价、扩张区域去除和平面拟合步骤进行改进,处理后视差图效果良好,不仅抑制了楼顶的视差扩张,还改善了楼顶和地面的视差平面空洞问题。对侧墙缺失问题,本文采用了侧墙区域二次匹配的方法进行改进,主要步骤是建筑物侧墙提取、侧墙区域仿射不变特征匹配和侧墙视差值回填等,处理后视差图填充了部分侧墙区域的视差。该部分是论文的创新点,这些方法共同对视差图进行了较好的改进。由于遥感图像立体匹配无真实视差值进行评价,本文提出了一种新的立体匹配的评价指标——边缘吻合率,即图像Canny边缘匹配的准确率,该指标部分解决了遥感图像立体匹配的匹配结果无法衡量的问题,为遥感图像立体匹配改进方向提供指导。对于有实际高程的遥感图像区域,本文也进行了实际高程误差的计算评价,文中最后一章给出了相应实验结果,用于证明本文算法的有效性。