论文部分内容阅读
多媒体技术的发展产生了大量的多媒体数据,多媒体压缩技术和迅速扩张的互联网便利了多媒体数据的存储及传输。多媒体数据形式多样,包括文本、图像、音频和视频等。随着多媒体数据量的急剧增加,传统的基于文本的多媒体信息检索越来越不能满足应用的需要,人们希望计算机能够自动地对多媒体数据的内容进行分析、根据分析结果进行检索,也就是基于内容的多媒体信息检索。
视频是多媒体数据的一个重要组成部分,具有区别于其它多媒体数据的特性。视频的组成复杂,包含有文本、音频和图像等多方面的信息,视频还同时涉及时间域和空间域,由此带来了视频分析的复杂性。面对越来越多的海量视频数据,如何从中找到所需的视频片断(镜头或场景)成为一个日趋迫切的问题。因此,基于内容的视频检索获得了越来越多的关注。
视频语义特征提取是基于内容的视频检索中的一个关键环节。视频语义特征提取的任务就是将底层物理特征映射到视频语义特征,实现对视频的自动语义标注。视频具有时空特性,图像帧从空间域描述了视频内容,视频运动则从时间域描述了视频内容。目前,相关的视频语义特征提取的工作主要集中于TRECVID,IBM和CMU等研究机构在此评测中取得了较好的成绩。但是,底层物理特征和视频语义特征之间仍然存在着“语义鸿沟”,视频语义特征的提取方法仍然不够成熟,需要进一步的研究和探讨。
本文就视频语义特征提取中的两方面问题,视频运动分析和高层语义特征提取,分别进行了讨论并提出了新的相关算法。
视频运动分析是将光流场(0FF)或运动向量场(MVF)的特征映射到具体的运动类型。运动类型是从时间域描述视频内容,反映视频语义。传统的视频运动分析假设物体运动或者是相机运动主导了视频运动,在分析此种假设不合理的基础之上,我们阐述了判断视频运动起因的必要性和可能性,提出了新的视频运动分析框架,并给出了一种利用运动向量相互关系判断运动起因的算法。
高层语义特征提取是将底层物理特征映射到高层语义特征。视频局部高层语义特征,即物体特征,描述的是图像帧中的物体,是图像帧的一个局部。考虑到物体本身以及物体所处的特定场景所具有的视觉特点,我们提出一种将图像帧的局部信息和全局信息结合起来提取视频局部高层语义特征的算法。
针对所提出的两种算法,我们在TRECVID2005的数据集上分别进行了实验,实验结果表明了算法的有效性。