论文部分内容阅读
密集采样的光场在深度估计、重聚焦和三维展示等应用中表现出得天独厚的优势,但是获取困难且昂贵。消费级便携光场相机如Lytro、Raytrix等携带方便、操作简单,但是受主镜头分辨率限制,空间分辨率和角分辨率之间存在权衡,不能同时被密集采样。在实际的视觉应用中,光场的空间分辨率和角分辨率受限成为微透镜阵列光场相机发挥其优势的主要瓶颈。近年来,在不改变光场采集硬件设备的基础上,合理有效的在空间和角度维度上实现光场的稠密重建,成为大量研究人员关注和研究的焦点。本文深度研究了针对角度稀疏采样的光场和稀疏视点采样的大视场光场的稠密重建,完成的主要工作如下:(1)基于可分离卷积神经网络的光场稠密重建针对便携式光场相机在空间和角度维度上不能同时进行密集采样的问题,本文设计并实现了一种基于自适应可分离卷积神经网络的光场稠密重建算法。算法的主要思路是通过卷积神经网络计算输入的光场子孔径图像对生成的目标图像的影响权重矩阵,将生成的权重矩阵与输入图像进行局部卷积生成目标子孔径图像。基于此思路,本文设计并实现了一种自适应可分离的卷积神经网络,利用输入图像和目标图像之间的关系,逐像素点计算RGB值,获取高质量的目标图像。本文提出了一种将目标子孔径图像的位置坐标作为网络模型的输入的方法,只需要更改输入网络模型的坐标,就可以获得不同位置的子孔径图像。该算法使用光场相机拍摄的稀疏光场子孔径图像,合理有效地在角度域上生成了密集的子孔径图像。(2)基于极平面图补全的光场稠密重建由于光场相机的视场角有限,在实际应用中,往往需要对大视场光场数据进行处理,使用光场相机对同一场景进行一次采集不能满足需求,平移光场相机进行密集连续拍摄耗时长且成本高,而且会产生大量的冗余信息。本文设计并实现了一种基于极平面图补全的光场稠密重建算法,该算法适用于稀疏视点采集的大视场光场的稠密重建。因为平移采集的光场极平面图上对应相同物体的直线的斜率相同,利用这一性质,本文将两个平移拍摄的光场极平面图上对应的直线进行匹配,通过对未采样位置的光场极平面图进行插值,合理有效的在稀疏视点采集的光场中间生成密集的新视点的光场。本文针对角度稀疏采样的光场和大视场光场实现了稠密重建,且重建的光场在相关质量评价指标上表现良好,本文工作将有助于进一步发挥密集采样的光场在广泛的计算机视觉相关应用中的优势。