论文部分内容阅读
随着数字多媒体技术、网络通信技术和数字电视技术的迅猛发展,视频数据每天都在以井喷的方式涌现。同时,近些年视频监控的普及、体育赛事和娱乐节目等的爆炸式增长,多视角视频已逐步成为视频家族中的一种主要类型。多视角视频数据是指由多个摄像机在不同位置以不同的角度对同一事件在相同时间段内拍摄获得的视频。因其非结构化的数据形式使得对其处理和浏览的效率低下,不能满足实际应用发展的需要。目前,如何对海量的多视角视频数据做高效的分析、管理、存储、传输是研究人员亟待解决的问题。视频摘要技术是指通过自动或着半自动的方式,对视频数据的内容和结构进行分析,并分析提取视频数据中有代表性的视频段。通过对多视角视频合理应用摘要技术能够有效的去除多视角视频的冗余数据,从而解决其存储、传输和管理等方面的问题、提高视频检索和浏览的效率、特别对于公安安防、公共交通、公共娱乐、体育赛事等领域有重要的意义。该论文借鉴现有的单视频摘要方法思路,通过对多视角视频的结果特征进行分析,结合跨视角视频应用中广泛采用的线性空间假设,即相同场景目标在多视角中存在于同一线性子空间的假设,论文首次提出基于子空间分析的多视角视频摘要生成算法。该论文从基于子空间分析的视频预处理研究、基于子空间映射的跨视角特征超空间构建和多视角视频摘要的生成三个方面展开深入的研究,其具体的研究内容如下所示:(1)研究多视角视频预处理方法。分析多视角视频的结构信息,通过基于场景变换检测的视频分割方法,对多视角视频分割为不同场景的视频段;研究基于低秩稀疏子空间更新的视频前景分割方法,对不同场景的视频段提取帧的前景图像;提取SIFT和光流特征,并融合SIFT特征和光流特征为视频的底层特征信息。(2)研究跨视角超空间的构造方法。通过对获得的各视角场景视频段特征,做主成分分析获取各个场景视频段投影矩阵,构建各视角场景视频段的基空间;分析各场景子空间中个元素之间的关系,通过子空间中各元素相互投影,构建跨视角特征超空间。(3)研究跨视角超空间下的基于稀疏子空间的视频内容聚类方法。对构建的跨视角的特征超空间聚类分析,在每类中选择合适的视频段作为代表性的场景视频段,按照各个视频段的时间信息生成多视角的视频摘要。通过在多视角视频公开数据集上进行测试实验,该论文提出的基于子空间分析的多视角视频摘要方法能够从多个视角的视频中有效选取代表视频段,所生成的视频摘要包含了原视频中的关键事件信息,同时摘要视频长度仅为原视频长度的11%。论文提出的基于子空间分析的多视角视频摘要方法为多视角视频摘要技术提供了一种新的理论方法,也为多视角视频的有效开发利用提供了一种有效技术手段。