论文部分内容阅读
视频关键帧提取技术解决的问题是如何使视频数据被有效地表示和快速地访问,它是利用对视频内容的分析来提取视频中的关键信息,从而降低视频信息的冗余。视频关键帧技术不仅可以提高视频浏览的效率,也能够提升视频存储的效率。静态背景的监控视频一般由固定监控设备所拍摄,并无明显的结构特征,且无镜头切换,故含有大量的冗余内容。因此,本文针对监控视频,分别提出了基于对象关联的关键帧提取算法和基于对象的浓缩关键帧提取算法。相比于现有的视频关键帧提取算法,本文的算法在监控视频上取得了更加有效的结果。本文的主要工作及创新点如下:(1)基于对象关联的帧间距离度量方法。结合对象的类标签,通过匹配不同视频帧的对象集合,得到帧间的对象关联信息。因此,帧间距离依赖于帧间的对象关联信息。若帧间的对象集合匹配比例越高,则对象的关联性越强,帧间距离越弱。反之,帧间的对象集合匹配比例越低,则对象的关联性越弱,帧间距离越强。因此,基于对相关联的关键帧提取方法考虑了帧间对象集合的关联性,有助于将原视频频划分成包含独立视觉事件的视频子段,使最后的关键帧集合更能表达原始视频的关键信息。(2)结合人眼注意机制的关键帧选择方法。视频划分过程主要完成将原始视频划分成包含独立视觉事件的连续视频帧,即视频子段。针对每个视频子段,本文提出了新的结合人眼注意机制的关键帧选择显著性函数,从每个视频子段中选择最有效的帧作为关键帧。传统的特征中心(medoid)方法是从视频子段中挑选特征中心对应的帧作为关键帧,中间帧(middle)方法是从是从视频子段中挑选中间帧作为关键帧。但是,帧表示与高层概念具有语义鸿沟,因此这些方法很难鲁棒地从视频子段中挑选出有效的关键帧。本文提出两个标准:内容完整性和视觉关注性来衡量一个有效的关键帧。融合两项标准,得到显著性函数,最优的关键帧对应的显著性值最大。因此,基于显著性函数的关键帧选择方法能够鲁棒地从视频子段中挑选出有效的关键帧。(3)基于MRF的浓缩关键帧提取方法。针对浓缩视频的伪碰撞、次序改变等问题,以及视频关键帧的背景冗余、紧凑度低的问题,本文对传统的视频关键帧进一步浓缩,得到更加紧凑的浓缩关键帧,实现用更少的关键帧显示所有的对象,以降低背景信息的冗余度。将浓缩关键帧的提取问题形式化为马尔科夫随机场(MRF)的极大后验估计优化问题,并结合松弛线性规划(RLP)过程,对视频中的所有对象进行轨迹组合优化,得到浓缩关键帧的所有对象位置,用最优位置组合对应的对象区域构成浓缩关键帧。