论文部分内容阅读
光流场估计是计算机视觉领域的基础研究内容之一,其在视频分割、物体跟踪和三维场景重建等方面均有大量的应用。历经四十余年的发展,光流场估计研究取得了长足的进步。随着应用场合的不断扩大和人们对高精度光流场估计需求的不断提高,近年来光流场估计又成为领域的一个研究热点。光流场记录了物体在图像平面上投影的移动。按照所使用图像帧的数目进行分类,光流场估计可分为基于两帧图像的和基于多帧序列图像的两大类。本文主要研究前者,针对存在遮挡的场景,尝试提出基于前后两帧图像的、鲁棒的光流场估计算法。首先,本文针对一类光流场估计算法中的中间扭曲图像(warped image,简称中间图像)生成问题进行了研究,提出了中间图像的合成和校正算法。已知微分法是光流场估计中最基本的算法之一,虽然中间图像在所述算法中仅是一个阶段性结果,但其在计算过程中起着承上启下的关键作用。研究发现因算法本身的问题,生成的中间图像中会出现场景中其它地方的物体或物体的部分结构,这样的“鬼影”区域会给后续的光流计算带来误导,必须加以纠正。为此,本文首先对所使用的数据库中前景运动物体和背景区域进行了统计分析,提出了一种基于场景先验的“鬼影”区域定位算法。接着,本文从“鬼影”区域的定义出发,利用像素对比策略提出了一种基于相关(在中间图像和运动前图像之间进行相关运算)的“鬼影”区域定位算法。然后,通过对中间图像各像素之间运动模式进行分析和梳理,提出了一种基于运动关系的“鬼影”区域定位算法。最后,对于中间图像“鬼影”区域的像素填充问题,本文提出了一种基于运动前图像的校正算法。在多个数据集上的实验结果表明,本文提出的中间图像合成算法能有效消除“鬼影”区域,从而为得到正确的光流场估计结果提供支持。进一步,本文对光流场估计中的遮挡问题进行了研究。通过对比分析可以发现中间图像中的“鬼影”区域与由前景物体运动产生的遮挡区域之间存在极高的关联性,因此即可利用中间图像的“鬼影”区域定位信息获得遮挡信息。本文首先以中间图像为纽带,提出了一种遮挡推理和光流场估计的迭代优化算法。然后,本文利用多种信息提升了遮挡推理的准确性,提出了一种遮挡推理和光流场估计的分步优化算法。为了验证方法的有效性,本文开展了相关的光流场估计实验研究。实验结果表明,我们提出的光流场估计算法是有效的,能够在存在遮挡的情况下获得场景正确的光流场估计结果。最后,本文对基于深度学习框架的光流场估计问题进行了深入研究。以现有卷积神经网络结构为基础,融合传统算法优势,本文提出了基于先验知识的光流场估计算法。光流是对运动的描述,而运动边缘一般会出现在运动前图像的图像边缘中。因此本文首先将运动前图像的边缘信息引入网络,提出了基于边缘先验的光流场估计算法。卷积神经网络是对复杂映射关系的学习和表达,而遮挡区域作为其中的异常值,对映射关系的学习有着极大的干扰。为此,本文提出了一种基于遮挡先验的光流场估计算法,将遮挡推理的结果同时引入输入图像和损失函数中以抑制遮挡现象对网络模型的影响。实验结果表明,融合先验知识能有效提升光流场估计的精度。