论文部分内容阅读
Internet的普及和多媒体技术的发展使人们面临呈爆炸性增长的视觉信息,基于内容的视频检索有着广阔的应用前景,成为非常活跃的研究领域。本文主要针对大规模视频库的组织与检索技术进行研究,目的是实现对海量视频数据的存储、有效组织、快速精确的检索。本文研究内容涉及特征索引方法、视频语义分类方法、相关反馈方法、视频片段的相似度量以及视觉内容特征的表示等问题。取得的主要成果包括:1.基于关键帧序列融合的视频片段检索方法:相似视频片段之间至少有一对关键帧相似,所以首先查找至少有一个相似关键帧的片段作为候选视频片段,然后再计算候选视频片段与范例视频片段的相似度,可以避免无关的视频片段相似度的计算。本文提出用融合多种特征的联合分布直方图来表示视频内容的方法,并使用颜色、纹理联合分布直方图进行视频子镜头分割,子镜头用关键帧表示。检索时,对范例视频片段的每个关键帧检索到相似的关键帧,所有的相似关键帧按照时间连续性融合为视频片段,它们与范例视频片段的关键帧之间形成多对多的匹配关系。删除冗余的关键帧匹配对,形成优化的关键帧匹配序列,然后综合考虑视觉相似性和时间顺序相似性计算整个视频片段的相似性。实验表明本文的方法符合人的视觉特性并有较低的时间复杂度。2.基于语义监督的特征聚类索引方法和基于Bayes的视频语义分类方法:理想的视频库组织方法应该把语义相关并且特征相似的视频的特征向量相邻存储。针对大规模视频库的特点,在语义监督下作视频库低层特征的层次聚类划分,当一个聚类中只包含一个语义类别的视频时,为这个聚类建立索引项,这个聚类称为索引聚类。统计低层特征和高层特征的概率联系,构造Bayes分类器。用分类器可以对其它视频数据作语义分类。查询时对用户的查询范例,用Bayes分类器对查询范例作语义分类,在该语义范围内查询相似视频片段。本文的方法不仅提高了检索速度而且提高了检索的语义敏感度。3.集成低层特征和语义信息的相关反馈方法:提出了一种基于Bayes理论的低层特征和语义信息相结合的相关反馈方法,只用很少的反馈次数就可达到很好的效果。本文认为正反馈和负反馈的低层特征空间都是多个分量的混合高斯分布,以便更准确的估计查询空间的复杂分布,并且把正负反馈样本扩展到样本所在的索引聚类,以这些聚类形成的分类器修正相似距离。同时根据正负反馈样本的语义信息用Bayes方法推测正反馈语义空间和负反馈语义空间,计算数据库样本属于正反馈语义空间和负反馈语义空间的概率,修正视觉相似性,得到语义相近的查询结果。4.一种快速高效的纹理谱描述子:依据纹理视觉特性提出了纹理模式等价类