论文部分内容阅读
作为一种重要的非结构化数据,视频已经成为大数据存储与管理的重要组成部分。近似视频广泛地存在于互联网的海量视频文件中,检索这些近似视频将有利于进行视频库精简、搜索引擎查询、视频压缩等研究。随着视频数据规模的不断增长,管理存储系统中的近似视频面临着存储性能优化与快速检索两大挑战。从这一点出发,提出了一种存储系统中的近似视频快速检索方法,能够有效地索引存储系统中的近似视频,并提供高效的查询接口。 本文设计并实现了存储系统中的近似视频快速检索系统,以满足对近似视频的快速检索需求。采用局部灵敏哈希来压缩视频特征,以及解决高维视频特征的最近邻查询问题。采用Cuckoo hashing来优化索引结构,减少索引内存开销。主要的研究工作是:提出一种紧凑型的视频特征表示方法,利用局部灵敏哈希压缩视频内容特征,将视频内容特征映射到位向量之中,以解决存储视频特征信息的磁盘与内存开销过大的问题。提出一种基于局部灵敏哈希和Cuckoo hashing的索引结构,利用局部灵敏哈希对视频特征进行相似性分组,从而可以快速定位近似视频,提高查询效率,然后结合Cuckoo hashing精简索引结构,以显著减少索引的内存开销。最后通过分析局部灵敏哈希与Cuckoo hashing结合后的循环踢出问题,对索引结构进行优化,进一步提升索引结构的内存利用率。 实验结果表明,近似视频快速检索系统能够快速地检索近似视频,查询响应时间快,查询准确率较高,并具有较低的索引内存开销。