论文部分内容阅读
由于二维显示设备无法提供场景深度信息,为了满足当前人们对三维数据的需求,有必要提供与人眼认知习惯相统一的三维内容显示。如今,随着三维显示设备制造工艺的提高和的发展,三维显示得到迅猛发展,已经从原有的双目立体显示发展成显示视点更密集平滑、显示视角更大、显示分辨率更高的自由立体显示。其显示内容也从两张视差图像变为密集光场,其数据量大大提升,数据结构也不同了,这对显示内容的获取和处理技术提出了更高的要求。本文正是在这样的三维显示发展背景下,结合密集光场具有的新特征与新结构研究了与之相适应的光场信息处理方法,实现多种三维显示应用。现在自由立体显示的相关图像处理算法更多的还是从双目立体算法拓展而来,在利用多个视点信息和相机拓扑结构规律上还存在不足,图像处理后各个视点间内容一致性难以保证,图像处理的思想还未从对传统图像的处理提升到对整个光场的处理。针对上述问题,本文对三维显示中的光场信息处理技术进行研究。论文的主要研究内容和创新点如下:(1)基于光场控制的深度可调谐密集视点三维显示。在三维显示中,采集设备与三维显示设备的参数往往是不匹配的,将采集内容直接用于立体显示会造成内容立体感的分布失调甚至错误,所以在显示前需要对内容进行视差调整。然而通过设备硬件调整的视差调整方式限制了内容的通用性,而传统双目视差调整在密集视点情况下需要对多视点图像逐对匹配求取深度信息,忽略了多视点的相关性,没有使用多视点图像间的统计关系,计算量大,视差估计浮动量大,运动视差不平滑。因此提出一种适用于密集视点内容的视差调整方法有重要的意义。本文使用光场理论将多视点图像作为一个三维光场,由于平行采集阵列光场中光场轨迹为直线,可以通过线性回归的方式得到场景深度,通过对光场的剪切变形来改变光场轨迹的参数从而统一调整了多视点图像视差,实现了不同参数内容采集设备与显示设备的对接。(2)基于光场对齐的无跳变密集视点三维显示。对于柱镜光栅类和集成成像类自由立体显示设备在两相邻视区周期的连接处总是存在深度翻转区域造成内容跳变,这个固有的缺陷严重降低了三维显示效果和环境沉浸感。有研究者通过跟踪观看者的位置来调整显示硬件来阻止观看者进入深度翻转区域,但该方式不满足多人观看的需求而且硬件结构复杂。于是本文从显示内容入手,重新从光场的角度分析了深度反转区域的产生,得到跳变产生的原因,之后通过光场首尾对齐使得在周期跳变区域也具有正确的视差关系。文中利用自由立体显示器视点周期性给出了构造无跳变显示光场所需的条件和光场编辑方法,同时提出了周期复用策略使显示光场的视点数目可以远远多于自由立体显示器视点数。(3)基于光场融合的三维增强现实显示。近年来增强现实、虚拟现实等计算显示技术快速发展,然而现阶段增强现实技术在密集视点立体显示上还是空白,同时由于缺乏对场景的深度信息和场景边界的适当分割,使得解决真实物体对虚拟物体的遮挡问题还十分困难。如何利用密集视点采集所提供的大量场景信息准确的确定场景深度和虚实物体的边界具有重要意义。本文中,真实环境和虚拟物体都被视作光场,由于平行采集阵列得到的光场其不同深度物体对应的线性光场轨迹有不同的斜率,场景融合的遮挡问题可以通过判断虚实物体对应的线性光场轨迹斜率来解决,同时本文提出的以融合边界处光场轨迹为参考的区域重分配算法实现了真实场景边界的准确像素级分割,从而准确实现了虚实遮挡关系,最终实现了双目视差与单目视差(遮挡与运动视差)一致的裸眼立体增强现实显示。(4)集成成像中边缘优先的遮挡物去除计算显示算法。当今计算机技术的发展促进了计算成像技术的出现,较传统光学成像计算成像可以突破光学器件的物理特性限制,实现更为理想的成像效果。人们常常借助计算成像技术观察人眼无法观察到的场景信息。本文结合光场理论与计算成像,提出一种遮挡物去除算法来帮助人们观察到遮挡物背后的背景信息。由于密集视点采集能得到场景各个视角的信息,使得被遮挡背景的不同部分得以在不同的视角中出现,而计算集成成像技术使得再现成像系统可以完全过滤掉遮挡物发出的光线从而实现清晰完整的背景再现。较传统集成成像,计算集成成像方法充分利用了两者的优势使再现背景的峰值信噪比大大提升。文中,考虑到遮挡物与背景往往对比明显,该边界区域纹理比较丰富,深度估计准确。于是优先考虑遮挡物的轮廓,之后通过深度信息在光场中的扩散实现遮挡物确定,最后通过计算集成成像过滤掉遮挡物发出的光线实现清晰完整的背景再现。由于在遮挡物判断中优先确定了遮挡物轮廓信息使得边缘处细节处理精确,而且由于不需考虑遮挡物内部结构和纹理,该算法实现了对遮挡物特性不敏感的遮挡物去除。较以往计算集成成像算法提高了算法的精确性和通用性。本文将光场理论应用到不同的计算三维显示中,将光场理论与算法应用于多视点内容处理中,完善了多视点内容处理方法。在三维显示的不同应用领域探索了技术方案,架起了三维显示内容采集端与显示端的桥梁,在建立三维显示全生态中有重要意义。