真实世界的三维感知力是人类最原始的本能之一。近年来,随着计算机图形学、计算机网络、数字多媒体等技术的发展和成熟,三维电视将是下一代数字电视的发展方向。自然三维电视希望通过自然场景的拍摄、与传统二维电视兼容的格式传输、裸眼自由的观看环境下显示,以给观众身临其境的三维视觉感受。内容制作和视点重构是自然三维电视系统的两大关键模块。内容制作指从多视点视频中提取用于表达空间场景位置关系的深度信息,并与彩色图像一起作为三维电视的基本表达形式。而视点重构指从图像以及对应深度信息中重构出多视点场景的过程。本文从自然三维电视的基本需求和目标出发,深入研究并提出了适用于本系统方案的内容制作和视点重构方法。本文的主要工作和创新性成果如下：1.基于马尔可夫随机场(MRF),提出一种即时更新的置信扩散(BP)立体匹配算法。该算法在得到优秀匹配效果的同时能有效缩短收敛时间。利用双向的BP视差估计后进行视点重构,可以有效的降低内插视点的空洞区域面积。2.提出一种基于扫描线优化的立体匹配实时算法,该算法对立体匹配的基本步骤进行了优化改进。首先,算法采用基于十字交叉的代价聚合,能提高初始匹配的稳定性。在优化阶段,算法使用平行扫描线和垂直扫描线的两步优化过程。在达到较好优化效果的同时尽可能降低优化算法的复杂度。最后,算法通过视差一致性检测改善物体边缘处的结果。借助于GPU的高效并行能力,算法在分辨率384×288,视差16的典型图像中运行速率达到35fps。同时,算法的客观精确度评测结果在middlebury网站上领先于其他类似的实时和扫描线优化算法。3.针对单帧匹配算法提取视频序列的视差不稳定现象,提出两种有效的解决方案。第一种为基于3D-MRF的时空域BP算法。由于直接求解3D-MRF的BP算法时间、空间复杂度过于庞大,本文构造一种时域前向流水的算法框架,使得在每帧算法复杂度接近单帧BP的情况下能很好的改善视差时域连续性,同时算法得到的视差图质量并没有降低。第二种为基于光流信息的时空域立体匹配算法。算法在空域上采用BP算法,以获得的置信值作为单帧的匹配代价。然后在时域上进行光流估计,并建立帧间的平滑代价计算模型,用动态规划优化求解。算法同样采用前向流水递归,能保证提高深度序列的稳定性的同时计算代价增加不大。4.根据深度(视差)图像的虚拟视点绘制原理重构出多视点视频,并解决其中的可见性、重采样、空洞问题。提出一种基于MRF的空洞修复算法,该算法结合了结构修复和纹理修复的特点,以全局优化求解的形式得到空洞区域的信息估计值。同时,本文还提出检测和表达遮挡信息的方法,基于“视频”+“深度”+“遮挡信息”的内容表达方式,可在尽可能降低数据带宽的同时提高视点合成的质量。