论文部分内容阅读
由未标定的图像序列恢复3D欧氏场景结构一直是计算机视觉领域比较困难的问题之一。在运动重建(SFM)领域,因子化方法得到了相当的重视,因为因子化方法不但具有同时考虑所有图像,不用指定参考图像的优点,而且因子化方法还可明确的形式化为关于运动参量和结构参量的双线性形式。双线性形式是一种形式简洁而高效的求解技术,其主要成分是奇异值分解(SVD)。本论文首先对运动重建领域内的因子化方法按摄像机模型、结构模型和特征模型进行分类,为因子化方法在运动重建领域的研究提供了分类方法并指出新的研究内容和方向。为了构建尽可能完整有效的测量矩阵(Measurement Matrix),本文提出基于梯度统计的特征匹配方法,该方法利用梯度朝向统计信息可以处理具有较大变化的图像序列上的特征点的匹配。图像序列上的变化主要有视点、照明和缩放上的变化。新的特征描述子不但描述了特征点局部区域的结构,也统计了其外围的12个5×5取样区域上的朝向直方图,使得所构建的描述子具有更为鲁棒的可辨别性,便于下步的匹配任务。在匹配步骤内,对潜在的特征点对进行朝向和幅度上的过滤,进一步消除局外点。由于在图像序列中可能出现遮挡现象,使得测量矩阵中存在丢失数据项,为此提出一种在线多帧特征对应算法。根据由图像度量值加权的偏移矩阵和轨迹矩阵均位于一个低维的线性子空间中,将偏移矩阵中的完整子矩阵秩约束后重组织成轨迹矩阵,对轨迹矩阵秩约束后求得相应的基矩阵和系数矩阵;为了解决孔径问题,由基矩阵和系数矩阵估计相应的偏移分量并回填至多帧偏移矩阵。随着后继帧数据的输入,使用增量奇异值分解将新数据融合到多帧特征对应框架中;当处理完所有后继帧数据后,对于依然存在的丢失数据项使用非线性算法进行最后的处理。由于特征对应算法的局限性,在测量矩阵中存在大量的局外点。另外,在射影重建的因子化方法中,由射影深度缩放的测量矩阵位于一个4D子空间中。本文提出一个基于子空间的鲁棒的射影重建方法,交替估计射影结构,射影深度,并且表示为在一个子空间框架中,依次对同一个目标函数关于不同变量的两个极小化估计问题,确保迭代解的收敛。在估计射影结构子问题中使用施加秩约束的增广Lagrange乘子法(ALM)极小化一个核范数和L1范数组合的目标函数,求出测量矩阵右奇异空间所位于的低维子空间,消除局外点和丢失数据项对因子化方法的影响。在运动重建的因子化方法中,当测量矩阵中所有数据项都是完整有效的情况下,可用奇异值分解方法(SVD)求得有效值。但当测量矩阵中存在丢失数据项和局外点时,本文主要分为三步消除它们对结果的影响。第一步是基于梯度统计的特征提取和匹配方法,构建的测量矩阵有尽可能多的有效数据项,更少的丢失数据项和局外点。本步算法相比传统的Harris-相关系数的匹配算法,具有较高的稳定性以及抗干扰性。第二步是基于秩约束的多帧特征对应算法主要用来恢复其中存在的丢失数据项,通过数学形式的推导证明了该算法的可行性;对于不同的有效数据项比率和噪声水平,本步算法与Irani特征对应算法比较,在误差控制和所用时间上的性能更优。第三步的基于子空间的鲁棒射影重建方法是存在局外点和丢失数据项的情况下的射影重建方法,以尽可能地消除局外点和丢失数据项对重建结果的影响。实验证明本步算法的有效性和可靠性。