四维光场相机被认为是优秀的成像设备,具有广阔的发展前景。其和传统的相机相比,不仅可以记录每个像素的强度,并且可以记录光的方向,提供了丰富的结构信息。通过获取光场中的有效信息,许多基于视觉的应用得以进一步发展,如虚拟现实、重聚焦、三维重建等。而基于光场的三维重建,可以准确地恢复场景的三维结构,所以逐渐成为了国内外研究的热点。本文将基于光场的三维重建分为两个部分进行介绍:在同一个光场中,包含了针对同一个场景不同视角的图像,并且不同视角之间的基线较小。针对这种情况,本文利用极面图像进行深度提取,根据致密的视差图进行场景单面的稠密重建。为了进一步获取场景完整的结构,本文对多个光场的三维重建进行研究。结合光场极面图像的特性,针对同一场景不同拍摄角度的光场图像进行特征点的匹配,建立不同光场之间的联系,生成场景的多面稀疏点云。本文第一个研究内容为光场极面图像的深度提取算法:颜色约束旋转平行四边形算子。对于现有的方法而言,在面对复杂遮挡、噪声、混叠、纹理不充分等情况时,估计的深度图的准确率会产生较大的误差。所以本文基于已有的鲁棒深度提取算法旋转平行四边形算子,设计了不同的颜色约束,利用极面图像的结构信息,通过斜率估计进行深度恢复。首先,利用不同视角之间的颜色一致性,排除遮挡区域的影响。之后,在本文中设计了一种新的高斯融合直方图,结合直方图邻组信息,改善了在有噪声和弱纹理场景的提取结果。最后,提出了一种可供选择的动态直方图均衡,缓解直方图对于组数的敏感性。实验结果表明,与其他最新深度估计方法进行比较,本文提出的方法在合成与真实数据集均能达到更好的结果,并且可以处理具有不同种类的视差和不同角度分辨率的光场。本文第二个研究内容为基于光场极面图像的特征:尺度不变极线特征。在不同光场之间,特征的提取是三维重建的基础步骤,特征的数量和匹配的准确度直接影响重建的结果。因此,如何获取更多包含有效信息的优秀特征成为了亟需解决的问题。现有的光场特征存在多视角重复提取,特征鲁棒性差,匹配效果差等问题,所以,在本文中,利用光场极平面图像,通过构造极平面图像栈,将水平与竖直的极平面图像栈与中心视角图像中的特征信息进行融合,并进行筛选。实验表明,与近年基于光场的特征相比,本文提出的特征可以更好地捕获图像中的有效信息,同时具有更好的匹配能力。最后,本文利用光场相机进行数据采集,采集针对同一场景的多视角光场图像,导入开源框架中进行三维重建,并进行了重建结果的展示。