人类生活在三维立体的世界中,人眼和人脑的协同作用使得人能感知到环境和物体的立体性,但是传统的二维图形和显示技术将人的感知范围限制在二维世界中,使得真实世界的信息在传输与显示的过程中造成了损失,在人类对完整三维世界的感知需求中,立体显示技术,虚拟现实技术成为研究热点。对三维场景信息的采集受制于现有硬件条件存储技术等的限制,不能完整采集三维场景中各个视点下的信息,虚拟视点技术应运而生。虚拟视点生成技术可利用一定的采集样本恢复三维场景中未知视角下的信息,已成为自由立体显示技术,虚拟现实技术等热点研究领域的核心问题。在不同的应用中,如何对场景进行表达,如何在视点数增加时进行实时的场景绘制成为虚拟视点生成研究的难点,传统的虚拟视点生成方法是在基于图像的绘制的基础上,研究如何采用已知参考视图来直接生成虚拟视点下的对应图像,主要围绕立体匹配,深度估计展开,并且在一定程度上得到了广泛应用,但是存在计算复杂,生成的视点数不够密集等问题。本文将基于图像的绘制(Image Based Rendering)和全光函数结合进行研究分析,从全光函数的角度重新解读IBR技术的核心问题即虚拟视点的生成。本文主要研究全光函数的采集、重构和再采样等关键技术。本文首先分析了全光函数的多种维度下的表达模型,并选取了二维情况下的全景图拼接技术和四维情况下的光场技术进行深入研究。本文采用鱼眼镜头图像进行全景图像的采集,使用两种方式对图像畸变进行校正。一种是基于相机参数进行标定的方法;另一种是基于假定成像模型,采用算法对鱼眼图像进行畸变校正。本文使用SIFT特征对图像进行提取,并采用BBF算法实现特征点匹配,使用RANSAC进行特征匹配对的提纯,从而计算出相机的姿态,同时使用Bundle Adjustment实现相机参数调整,使用图像融合算法进行图像拼接,得到全景图像,至此完成了二维全光函数的重建。并且,本文提出并实现了一个基于全景漫游的虚拟现实系统。同时,本文基于四维全光函数,提出了基于像素映射和插值的自由视点生成算法,使用双线性插值算法,利用CUDA和Direct 3D进行并行处理和绘制,实现了基于GPU的方式的实时光场绘制。