基于图像的渲染(Image-based rendering,简称IBR)能够快速、逼真地生成场景的多视点视图,因此很适合作为多视点立体显示的图像源获取技术使用。然而,该类方法对于图像采样的过度依赖,使得数据量与渲染质量的矛盾成为了阻碍IBR应用的一个难题。针对这一问题,本文推导建立了信号采样的最小预期误差准则,并以此为依据提出了适用于多维信号的自适应采样及重建方法。该方法在对原始采样信号进行分析的基础上,解析地确定了对重建质量贡献最大的采样位置,从而减小了采样数量,提高了重建质量。由于不需额外获取场景的几何信息,且能够对每一根采样光线的采样位置做出调整,该方法具备了现有类似IBR方法所不具备的非渐进采样、低几何信息需求及逐一调整采样位置的特性。当应用于一维(音频)、二维(图像)及四维(IBR)信号时,本文在建立的自适应采样方法的基础之上提出了融合边沿及边缘检测的自适应采样方法,有效抑制了平顶波形及“铁皮样失真”产生的局部较大误差,改善了信号重建质量。并特别针对四维IBR信号推导了四维Sobel算子,使边缘检测得以在四维空间中进行。本文以光场作为IBR的实现形式,针对光场自适应采样生成的高维非均匀数据,提出了基于Delaunay三角剖分的非均匀数据插值方法并将其应用于光场重建,有效减小了高维数据插值的计算量。同时改进了系统结构,通过将三角剖分数据暂存数据库的方式改善了系统在视点漫游情况下的计算效率。并提出了一种附加位置标记矩阵的数据传输/存储结构,为IBR自适应采样在实际数据传输/存储环境下的应用创造了条件。本文从多视点立体显示的要求出发,分析了显示器参数对IBR采样与渲染参数的影响,并完整地实现了IBR的自适应采样、重建及多视点立体显示。实验结论表明,该系统能够在相同数据量下获得比传统方法高3.7~7.8db的重建质量,并能以不到15%的原始数据获得30db以上的重建质量。从适用范围来看,本文提出的方法不仅适用于光场,也适用于其他形式的IBR及音频、图像信号;从技术环节及实现手段来看,本文的研究针对数据源头且以新提出的自适应采样方法为基础,跳出了该领域将研究重点放在采样之后且套用现有视频压缩技术的研究范式,为IBR的研究开辟了新的途径。