论文部分内容阅读
虚拟视角合成是虚拟现实、自由视点电视等诸多计算机视觉应用中的一项重要技术,其合成结果的质量会直接影响应用的性能。通过虚拟视角合成技术获得的合成结果存在两个问题:其一是静态场景中合成图像的精度不高;其二是动态场景中合成视频的时间不一致问题。局部立体匹配和基于景深图像的绘制是虚拟视角合成的两项关键技术,目前局部立体匹配算法在大面积无纹理、深度不连续和倾斜平面区域中的匹配误差大,会直接影响到虚拟视角图像的绘制精度;基于景深图像的绘制算法鲁棒性不高,不能同时解决合成结果精度不高与时间不一致的问题。本文以提升合成结果的精度与时间一致性为目的,对局部立体匹配和基于景深图像的绘制算法进行了深入研究。本文以基于最小生成树的局部立体匹配算法为框架,对匹配代价计算和视差后期处理步骤进行了优化,实现了一种高精度的局部立体匹配算法。本文使用Census变换获得描述像素点空间结构信息的汉明编码,并将其与像素灰度差和梯度差结合起来构成联合匹配代价,改善了算法在无纹理区域的精度。就后期处理而言,本文首先采用基于横向扫描的视差修复策略改善深度不连续区域视差轮廓的准确度,然后对视差平面进行拟合以减少高频噪声。本文基于景深图像的绘制算法以虚拟视角合成参考软件为框架,给出一种高鲁棒性的时域景深增强滤波器,该滤波器由运动检测、景深可靠度检测和时域景深增强处理构成。首先,通过运动检测将场景划分为运动区域和静止区域,并只对静止区域进行时域景深增强处理;然后,使用左右一致性检测获得景深的可靠度信息;最后,在时域景深增强滤波器中引入景深的可靠度,实现平滑景深流的同时提升景深的精度。对于立体匹配算法的评估表明,在Middlebury标准数据库和自采集数据库中,本文方法的匹配坏点百分比下降幅度分别达到22.1%和27.8%。对于虚拟视角合成算法的评估表明,在Bookarrval数据库中,本文方法的时间不一致性指标下降了24.6%,合成图像的精度提升了1.9%。实验结果表明,本文局部立体匹配算法和基于景深图像的绘制算法的性能得到明显改善,能为合成高质量的虚拟视角图像提供可靠的技术保障。