传统的视觉媒介只能提供两维视觉信息，三维立体视频系统的出现对景物具有更强、更全面的解释能力。三维立体视觉的实现基本原理在于多出了一个维度的信息，即深度信息。深度信息的获取有两种方法，一是通过像点获取对应点深度信息，也就是立体图像视差匹配；二是通过深度传感器直接测量自然景物的深度信息。立体图像视差匹配是一个病态的数学问题。近几年，关于图像分割进行视差优化的方法开始引人关注，处于同一分割平面的视差有很强的相关性。本文基于视差在分割区域平面一致性假设，提出了一种基于分割的可信视差拟合算法（Segment Based Reliable Disparity Fitting,SBRDF）：首先利用两种简单的局部算法得到的视差图，通过左右一致性检测与交叉一致性检测获取图像的可信视差，结合图像分割结果，再定义分割平面的中心视差，最后用最小二乘法进行平面拟合得到最终视差结果。与传统根据图像分割求视差算法相比，该算法没有视差优化的步骤，不依赖视差平面参数迭代优化，实验结果表明在保证立体视差匹配精度下，可有效提高算法的效率。图割算法是视差匹配中较常用的全局优化算法，创建基于不同数学模型建立的能量函数是图割算法的核心思想。传统图割算法的能量函数有两项，第一部分是局部算法所建立数据项，第二部分是邻域像素之间视差差值的平滑项。但是局部算法数据项由于遮挡等原因的影响会形成比较大的误差，而且遮挡区域的平滑性假设经常不成立，所以在某些遮挡区域会造成视差误匹配。SBRDF算法能够有效抑制误差在图像边缘的扩散，所以在图像边缘区域视差轮廓比较清晰。通过SBRDF算法所得视差建立新的能量函数，提出了平面约束项的图割算法（Plane ConstraintGraph Cut, PCGC）。由于图割算法较强的容错能力，该算法消除了SBRDF部分视差误匹配，与传统图割算法相比精度亦有所提高。最后，我们分析了KINECT深度图像的特点。针对KINECT深度图形成噪声的原因，我们提出了分割平面一致性约束修补（Segment PlaneConsistency Inpainting, SPCI）算法对KINECT深度图的孔洞区域进行修复。KINECT可同时提供了场景的彩色图像和对应的深度图像。由于视差图与深度图在已知摄像机参数的情况下可以相互转化，基于同一个分割平面内以及相邻的分割平面深度有很强的相关性，对深度图像逐步修复。由于该算法是基于分割区域的填补算法，所以修补以后的图像轮廓清晰，取得了比较好的实验结果。