论文部分内容阅读
虚拟现实(Virtual Reality,VR)技术普及和市场拓展在最近五年有一次大的飞跃。特别是VR 360全景视频的商业应用已经走入千家万户,进入了快速发展时期。人们对主观质量、沉浸式感受的需求越来越高导致高分辨率、高动态范围的全景视频数据量骤升。这直接引发了VR视频数据在传输和储存两个方面同时面临更大挑战。因此,研究VR全景视频合成和编码压缩具有强烈的现实急迫性。论文以全景视频图像的融合、拼接、编码相关技术为主要研究内容,具体地,在四个方面展开工作。(1)实现全景视频图像采集、预处理、配准到融合的全过程。基于正六面体六镜头摄像机采集的视频数据,采用棋盘标定法对相机进行标定,采用白平衡算法解决图像色差一致性问题。将六幅图像映射到球面,采用SIFT算法进行配准,采用重叠区域线性过渡法进行融合,最后生成VR 360全景视频图像。(2)分析VR球面图到平面图的多种映射格式,选择最佳全景视频编码输入格式。分析对比圆柱体、六面体、八面体、二十面体、新型瓦片分割等映射转换方式在编码性能、主客观质量及计算量方面的差异。验证得出六面体是目前最佳的编码输入格式的结论。(3)基于图像融合拼接技术提出全景视频运动估值越界折叠搜索算法。利用全景视频图像左右边界的连续性,运动补偿时通过图像拼接技术将重构帧左右边界进行拼接融合,降低运动估值搜索匹配块的误差,提升了编码效率。(4)针对CIS扫描仪扫描图像去噪提出了一种光栅条纹去除算法。分析了CIS扫描仪物理结构,建立了光栅条纹噪声数学模型,提出了傅里叶函数算法,有效去除了图像的条纹噪声。上述四个方面的工作有望为全景视频融合、拼接、编码的算法研究提供一些有益参考。在全景图像融合与拼接算法方面达到了合成全景图像平滑自然,具有较好的主观质量。对多种VR球面图到平面图映射格式测试结果表明,六面体为现有的优于经纬图的映射格式,建议作为全景视频编码输入格式的主要选择。全景视频运动估值折叠算法能够找到失真更小的匹配块,有效提升了编码效率。光栅条纹去除算法能有效去除CIS扫描图像噪声,且比现有噪声去除算法效果更佳。