论文部分内容阅读
多视角视频拼接是将多个摄像机从不同视角拍摄的多个图像序列拼接成宽视野视频,广泛应用于大场景的监控系统和无人驾驶系统,具有现实的研究意义。多视角视频拼接时,拼接后图像中容易出现物体的形状倾斜、深度不一致、以及运动大小和方向不一致等问题。本文针对多视角视频拼接进行研究,主要内容包括以下四个方面:1.扩展式摄像机系统和聚焦式摄像机系统中角度对于形状、深度、运动产生非常大的影响,本文提出加入角度约束对现有的全局射影变换方法、APAP(as projective as possible)方法、SPHP(shape preserving half projective)方法进行改进,对APAP方法和SPHP方法进行结合并加入角度约束进行改进,减少拼接后的视频图像深度不一致、运动大小和方向不一致、以及形状倾斜的问题。2.基于角度约束提出一种多视角视频拼接方法。首先,分离运动区域和静止区域。其次,对静止区域和运动区域分别进行拼接:采用现有方法和改进方法进行实验验证,通过对比分析选取APAP+SPHP+角度约束方法拼接静止区域;对运动目标区域,因本文采用的视频数据集中运动目标区域大多在图像的中间区域,形状失真不明显,因此对运动区域采用全局射影变换方法和APAP方法以及分别添加角度约束的方法进行拼接,通过对比分析采用APAP方法加入角度约束进行拼接,并采用光流信息借用前面帧的特征信息配准。最后,将拼接后的静止区域和运动区域进行融合,得到宽视野视频图像。3.以平行式设置图像为数据对象,本文分别采用全局射影变换方法、APAP方法、SPHP方法以及APAP与SPHP结合方法进行拼接。对比分析四种方法的拼接结果,实验结果表明APAP与SPHP结合方法具有高配准精度和形状保持的双重优势。4.基于自拍的扩展式设置和聚焦式设置的多视角视频数据集,分别采用全局射影变换方法、APAP方法、SPHP方法、APAP与SPHP结合方法以及这四种方法分别加入角度约束进行拼接。实验结果表明,本文方法能够有效地改善多视角视频图像拼接的倾斜、重影和模糊等形状失真、深度失真和运动失真问题。