论文部分内容阅读
视频同步是将非标定且放置在不同视角位置的多个摄像机记录的同一动态场景的多个视频序列进行时间校准的技术,视频同步的核心目标是建立多个视频序列中来自同一物理时刻的视频帧的对应关系。视频同步已广泛应用于视频拼接、视频融合、三维重建等领域。本论文的主要内容包括: 首先,本文对已有的视频同步方法进行了大概的分类总结,简单介绍了直接法和基于特征的视频同步方法各自的核心思想及优缺点。详细的介绍了三种典型的基于轨迹的视频同步算法:基于运动目标的视频同步算法、基于对极几何约束的视频同步算法和基于轨迹射影不变表示的视频同步算法。研究表明已有的基于轨迹的视频同步算法往往只能有效实现帧率未知不等、宽基线、多运动目标、平面运动或非平面运动等部分场景下的视频之间的同步。 其次,针对已有的基于轨迹的视频同步算法存在的优缺点,提出了一种基于投影不变描述子的视频同步算法。该算法主要包括四个部分:(1)轨迹提取和背景图像匹配。对输入的视频序列提取出参考轨迹和待同步轨迹,提取出视频序列背景图像,获得背景特征点匹配对,利用对极几何估计算法估计出两视图间的基础矩阵和对极点。(2)轨迹点描述。基于五共面点的交比,提出一种新的轨迹点的投影不变描述子。该投影不变描述子具有较高的鲁棒性和区分性,包含了轨迹点相对于整个场景的位置信息且对运动目标的运动模式并不限制,其可以是平面运动或者非平面运动。(3)轨迹点匹配。利用轨迹点的投影不变描述子,基于最近邻比次近邻准则及对极几何约束,获得参考轨迹和待同步轨迹的轨迹点匹配对集合。对于多个运动目标的场景,提出一种轨迹点联合匹配方法来剔除错误轨迹点匹配对。(4)时间模型参数估计。采用重复多次进行轨迹点描述及匹配,构建计分矩阵及阈值化的方法,获得视频序列的最终帧匹配对集合,从最终帧匹配对集合中计算出视频序列间的时间模型参数。 最后,在 Windows7环境下,采用 Matlab语言对本文提出的算法及部分典型视频同步算法进行仿真验证,实验结果表明,相对于已有的视频同步算法,本文提出的视频同步算法能够应对上述多个场景下的视频之间的同步,并具有较高的鲁棒性和稳定性。