论文部分内容阅读
随着计算机网络技术、多媒体技术以及数字传输技术的不断发展,以及摄像机、手机、平板电脑等数码设备的不断普及,视频的数据量急剧增长。因此,在网络、广电、出版等各大领域使用数字技术产生、传输和保存了大量视频。面对这些海量的视频,如何有效地对其进行分类和管理,从而使用户能够迅速获取想要的信息,是当前研究和应用的关键问题。视频包含了丰富的内容,视频特征表示是对视频进行分类和检索的重要基础,如何提取有效的中层特征来对视频进行准确描述是一个难点问题。如果不能获取有效描述视频内容的特征,则后续的分类器学习也无法取得好的效果。 传统的基于词袋模型(Bag-of-Word,BoW)的视觉特征表示方法是局部块视觉词的统计直方图,由于其采用朴素贝叶斯假设,忽略了视频中视觉词在空间-时间上固有的上下文关系。然而,这些上下文线索对于人类识别不同的视觉内容是十分有帮助的,特别是视频内容。实际上视觉词在空间上并不是相互独立的,视频相邻帧的视觉词也是相互关联的,它们具有内在的空间-时间分布规律,可以为视频特征表示提供丰富的语义补充。 针对上述问题,本文提出了基于时空马尔科夫链模型(Spatial-TemporalMarkov Chain Model,STMCM)的视频特征表示方法。首先,基于三维网格结构采样视频中的视觉词,然后将形成的视觉词三维网格结构转化为空间-时间马尔科夫链,通过最大似然估计来训练空间-时间马尔科夫链模型以得到模型的转移概率,从而获得视觉词的时空上下文关系,最后结合原始词袋模型形成更具有表达能力的视频特征表示。基于上述特征表示,本文一方面提出了时空马尔科夫核(Spatial-Temporal Markov Kernel,STMK),用来描述局部的时空上下文关系;另一方面还提出了时空马尔科夫金字塔核(Spatial-Temporal MarkovPyramid Kernel,STMPK),用来获取多层次的全局时空上下文关系。通过时空马尔科夫核及时空马尔科夫金字塔核,本文能够利用判别式模型挖掘马尔科夫链模型转移概率所描述的时空关系,并可以处理视频中经常出现的旋转问题和多尺度问题。本文在两个真实情况下的具有挑战性的数据集,即TRECVID2005视频标注数据集和UCF50动作识别数据集上进行了实验,实验结果验证了本文所提出方法的有效性。