论文部分内容阅读
随着互联网上视频数据的海量增长,对视频数据的组织和管理成为当下的迫切需求。由于传统的基于属性和文本的视频检索存在许多不足之处,因此直接通过视频的内容特征为索引的视频检索成为了当前研究中的一个热点,其中特征提取和特征的相似性度量是其关键技术。它可以结合文本检索技术实现更加准确的视频分类和索引,可以剔除文本检索视频中出现的重复视频,还能够解决网站视频版权的维护和界定等问题。但由于目前视频的底层特征与用户理解之间存在“语义鸿沟”问题,现有基于内容的视频检索系统的检索结果往往精度不够高,不能很好地满足用户的检索需求。
本文在基于金字塔匹配的视频检索框架下,对视频的特征提取和金字塔系列相似性度量算法做了研究。首先,为了选择鲁棒的特征进行视频检索,对多种视频特征做了比较和分析,为了充分利用视频的时空信息,在传统特征提取算法的基础上,提出一种镜头高层特征提取算法,算法对视频镜头中频繁出现的时间稳定区域进行跟踪,构造一个区域关系图,并利用图的连通性和区域节点的属性选取出信息量较大的区域节点作为镜头的表示,然后代表镜头的区域中提取多类基础特征的统计作为镜头特征,该算法提取的特征可以为视频镜头的自动分类服务。同时,研究了“视觉词包模型”下的金字塔匹配算法,针对金字塔匹配算法中,特征编码使用矢量量化方法表示不够精确的问题,将生物学视觉感知中的重要研究成果稀疏编码方法融入了该方法中,使得匹配结果更加符合人眼的视觉感知判断,从而提高检索的精度。最后,在基于金字塔匹配的视频检索框架下,融合了镜头分割、特征提取、密码本训练、特征编码、相似性度量等模块,对整个检索系统进行了仿真实验。
经过仿真实验表明:本文提出的融合传统特征提取算法和视频时空信息的高层镜头特征提取算法取得了较好的视频分类效果;而稠密sift特征相比颜色、纹理、边缘等特征更为鲁棒,适合作为视频检索的索引特征,运用于金字塔匹配视频检索系统中,融合稀疏编码方法可以更有效的提高检索的精度和效率。