论文部分内容阅读
多年来,数字视频相关技术取得了飞速的进步,有力地推动着广电、通信和互联网行业中交互点播、视频搜索等相关应用的发展。为了有效管理和利用海量的数字视频资源,需要对视频内容进行分析,自动检测并标注视频中包含的语义概念,从而实现符合人类理解和使用习惯的数字视频内容语义描述。
传统的基于统计模式识别的视频内容分析方法在视频语义概念检测的研究方面取得了诸多可喜进展。然而由于视频语义概念自身的抽象性和样本类型的多样性,跨越数字内容和抽象概念之间“语义鸿沟”的探索依然是任重道远。本文针对视频语义概念检测中的几个关键问题:视频特征提取、特征选择、分类算法以及上下文关联映射算法进行了深入的研究,取得了如下研究成果:
1、基于压缩域的视频运动特征提取算法
传统视频运动特征所承载的信息量与相应的计算代价之间存在着矛盾,并严重制约了其在视频语义概念检测中的应用。为此,本文提出了一种基于压缩域的快速的运动特征提取算法。首先对视频码流中的运动矢量和直流分量进行有效的预处理,修正了一些在编码过程中形成的偏差,并滤除了噪声数据。随后,对一种基于运动矢量的摄像机运动定性分类算法进行拓展,使之可用于摄像机运动参数的快速计算。最后,在宏块尺度上进行前景区域的分割,通过考察其在连续帧中的变化情况得到视频镜头的运动特征描述。实验表明,该特征可有效用于视频语义概念的检测,特别是能显著改善事件/行为类概念的检测结果。
2、基于局部可分性分析的特征选择算法
特征选择算法可以通过计算可分性判据考察不同特征的有效性,为视频语义概念的检测服务。但是,传统的可分性判据难以处理视频应用中的大规模高维连续特征。为此,本文提出一种基于局部可分性分析(LSA)的特征选择算法。本算法首先考察样本在特征空间中的局部可分性,然后基于各个子区域的局部可分性计算全局的可分性度量判据。由于保证了可分性判据计算过程中观测尺度的合理性,LSA判据可以对复杂样本分布情况下的特征可分性进行合理的评估。同时,在利用LSA判据进行特征降维时,采用一种启发式的搜索策略,保证了计算的效率。
3、多近邻局部分类器判别融合的分类算法
视频语义概念自身的抽象性和样本类型的多样性导致了样本在特征空间中的分散性,给相应的建模和分类带来很大困难。为了解决上述问题,本文引入局部分类器算法进行视频语义概念的检测,并取得了如下研究成果:首先提出一种样本均衡聚类算法,可对特征子区域进行合理的可重叠的分割;随后,通过优选采用高斯朴素贝叶斯方法训练局部分类模型;最后,提出一种多近邻局部分类器判别融合的分类算法,通过综合考察多个相邻子区域中分类器的预测值,得到更鲁棒的概念检测结果。相关视频数据集上的实验证明了此算法的有效性。
4、基于子区域上下文的多模态多概念检测模型
利用不同概念之间的相关性进行上下文关联映射,可以有效帮助抽象概念或不显著概念的检测。但视频语义概念存在着样本类型多样性的特点,使得不同概念之间的关联模式非常复杂。本文将样本在特征空间中的分布视作一种隐含因子,并将其用于上下文关系的建模,提出一种基于子区域上下文的多模态多概念检测模型,可以实现对概念间复杂关联模式的有效分析和利用。本模型综合考察了样本的局部相关性和全局相关性,并将上下文关联映射算法嵌入局部分类器算法之中。实验表明,采用本模型可以提高上下文关联映射算法的有效性和泛化能力。