光场通过表征每一条光线的辐亮度，描述光在三维空间中的辐射传输特性，封装了纹理、深度、光照、阴影等视觉信息。光场成像是一种计算成像技术，单次曝光即可同时捕获自由空间光线的亮度和角度信息，从一定程度上解决了传统成像技术景深与孔径的矛盾。但是，子微镜图像间视角差极小（基线非常窄），而且由于4D光场空间分辨率与角度分辨率的相互制约，子微镜图像的空间分辨率较低，以及变化的光照环境和复杂的反射属性，严重制约了基于光场成像的深度获取和三维重建的发展与应用。现有算法大多基于均匀反射率的朗伯体或可控光照条件的假设前提，对纹理丰富、漫反射、无遮挡的简单场景性能良好，但对复杂的真实场景鲁棒性差。如何实现对自由空间光场的采集、存储、表达、计算和处理，进行高精度、高鲁棒性的深度获取和三维重建，是当前计算机视觉与光学成像交叉研究的重大挑战。　　本文基于光线传播、光场成像和计算视觉等基础理论，从光线传播、成像过程、计算算法等角度，对传统相机、光场相机和多视角视觉系统进行光场成像分析，研究基于光场图像的三维重建技术，实现精确、鲁棒的深度估计和表面三维建模。本研究促进了光场成像与计算机视觉的融合，推动人类对现实世界场景的多维感知、建模、分析与理解的发展。主要从以下几个方面展开研究工作:　　(1)面向光场成像进行光线传播分析和建模，并开发了基于光场成像的研究平台。以几何光学原理为基础，通过对自由空间中光线的传播、折射、遮挡等过程进行数学推导，对基于微透镜阵列的光场相机成像过程进行分析建模。然后，基于单相机成像过程的模型，对多视角视觉系统和双目立体视觉系统进行成像分析，并基于立体视觉光场成像系统进行深度估计。光线传播分析为光场相机的创新设计提供了理论基础，有利于促进基于光场成像的计算机视觉任务的研究与发展。实验室自主研发了高性能光场相机，同时为了进行相机性能的测试和光场成像技术的算法研究，开发了一个基于光场成像的研究平台，包括光场相机成像参数设置、光场图像采集、解码、标定、预处理、渲染增强、实时显示、交互控制的完整框架，并封装了数字重对焦、深度估计、三维成像、立体显示等光场后处理功能。利用CUDA并行处理技术进行加速优化，实现了在线近实时处理，为基于光场成像的算法研究和评价提供了有力的技术支撑。　　(2)开展了基于光场图像的高质量深度估计研究。光场成像技术以其独特的优势，同时记录自由空间光线的亮度和角度信息，单次曝光采集丰富的多视角图像集。4D光场数据为高质量深度估计提供了更多信息，突破了传统多视角视觉系统的很多局限。提出基于光场图像的高质量表面深度估计算法框架，包括光场图像采集、初始微镜图解码、相机标定和畸变校正、子微镜图渲染增强、高质量深度估计。输入数据是Lytro Illum和实验室自主研发的光场相机拍摄的光场图像和视频。实验结果显示，不仅能够对合成光场图像进行高精度深度估计，还能够鲁棒地对室内和室外光照条件的场景或目标恢复精确的局部细节和几何形状。　　(3)提出了基于光照建模和反射率辅助的高精度表面重建算法。在过去数十年的发展中，基于彩色图像和深度图像(RGB-D)的3D形状重建算法，大多局限于均匀反射率的朗伯体或可控光照条件，初始深度图通常由于光照、反射属性、遮挡而出现低精度、深度缺失、噪声大、模糊异常值等。以4D光场的中心子视角RGB图像和初始深度图为输入，通过移除阴影和相互反射，估计目标表面的精确反射属性，得到反射率图像;再利用估计的反射率和明暗属性，计算全局光照模型;结合反射属性和光照参数，通过法向优化，对初始深度图进行深度增强，实现对非朗伯反射体、多反射率的场景或目标的3D形状重建。　　围绕光场成像技术，从理论、计算、应用角度展开研究，主要创新点包括:　　(1)基于光线传播理论对不同成像系统的成像过程进行分析和推导，从本质上了解光场采样和成像的原理，为光场相机的几何结构和成像模型的创新设计及计算算法的研究打下坚实的基础。　　(2)充分挖掘光场成像技术的强大优势，利用记录的空间和角度信息，进行高质量深度估计的研究，并对算法的精度和对成像环境的鲁棒性进行大量实验，促进光场成像技术在深度测量领域的普遍应用。　　(3)通过分析光照和反射率对光场成像的影响，进行了基于光照建模和反射率辅助的表面重建的研究，实现了对非朗伯反射体、多反射率的场景或目标的3D形状重建。　　(4)基于自主研发的光场相机，开发基于光场成像的研究平台，通过在线近实时处理，进行相机性能的测试，为基于光场成像的算法研究和评价提供有力的技术支撑，尤其是光照环境对相机和计算算法性能的影响，实现感知协同的交互系统。