论文部分内容阅读
3D技术的蓬勃发展使得3D视频深入人心。与戴眼镜式的3D技术相比,裸眼式3D给人们提供了更为轻松的观看体验。裸眼显示方案通常在已有的双目3D视频下生成多个中间视点,然后将生成的多视点合成最终的3D视频。然而,在生成多个中间视点的过程中,常常会因为立体匹配不稳定等因素,而出现不同程度的抖动现象。如何有效生成稳定中间视点并保证它们的连续性,这无疑是一个很有意义的研究课题。本论文在研究虚拟视点生成技术的基础上,分析了虚拟视点生成不稳定的原因,针对其主要原因,利用光流的跟踪来进行抖动抑制的改进,提出了两种稳定虚拟视点生成的方案,具体研究内容和成果如下:1.提出了一种基于稀疏光流跟踪的稳定虚拟视点生成方案。该方案主要从特征点提取、中间视点生成以及特征点纵向跟踪三个方面保证稳定性。采用SIFT算法能够得到稳定性较好的特征点集;将Delaunay三角剖分与Direct3D技术相结合,实现了中间视点的有效、快速生成;为了保证纵向生成视点间的稳定连续性,采用Lucas-Kanade稀疏光流法来跟踪特征点集,将图像金字塔引入到该光流法中,使其更适用于大而不连贯的运动;为保证跟踪过程的稳定可靠性,还进一步引入了跟踪周期,通过实验验证了这种虚拟视点生成方案不仅速度快,生成的中间视点质量较高,且有效改善了中间视点不稳定和不连续的现象。该方案回避了深度图的生成和空洞填补等难题,方便于实际应用。2.提出了一种基于稠密光流跟踪的稳定虚拟视点生成方案。该方案主要包括左右立体图像对间的光流跟踪、中间视点生成以及视频帧间跟踪和水平视差计算。采用TV-L1光流法进行跟踪,将图像金字塔与其结合从而充分优化了该光流法的稳定性。在左右图像对间运用该光流法,得到立体图像对的水平视差,采用视差偏移法生成了多个稳定中间视点。在视频帧间同样采用该光流法进行跟踪,根据前后帧间运动信息计算得出当前帧左右图像对间水平视差。为充分保证帧间跟踪的稳定可靠性,同样引入了跟踪周期。针对稠密跟踪时耗大的问题,对原图先采用降采样,生成中间视点后再插值恢复原图像的大小。实验显示该方案能够生成较良好的中间视点,有效弥补了稀疏法部分区域模糊的现象,并对视频帧间的稳定连续性也有一定保证。以上研究给出的这两种方案各有所长,都能有效生成稳定连续的中间视点,且在一定场景下相互补充,具有一定的现实意义。