论文部分内容阅读
移动视觉搜索作为一个新兴的研究领域,催生了许多新的问题和挑战,如：在海量图像数据中搜索,将面临搜索准确率差、搜索时间长的困难；移动互联网由于带宽有限和不稳定,上行传输图像将面临严重的延迟问题；移动设备计算能力和内存有限,视觉特征提取实时性有困难等。为此,MPEG标准组织开始着手制定视觉搜索紧凑描述子标准Compact Descriptors of Visual Search (CDVS),期望从描述子紧凑性、可区分性、可伸缩性以及低复杂度等四个方面应对上述挑战。本文以MPEG CDVS技术框架为基础,针对聚合描述子进行了重点研究,取得了如下创新性成果：1.提出了一种基于局部特征兴趣点排序的选择性聚合描述子方法。本方法从局部特征兴趣点可区分性的角度,通过兴趣点排序淘汰噪声局部特征,在显著降低局部特征聚合计算复杂度的同时,大大增强了聚合描述子的区分力。实验结果表明,本方法在现有聚合描述子的基础上,检索性能有了大幅度提升。另外,实验验证本方法对于低质量JPEG压缩图像具有较好的鲁棒性。2.提出了一种基于多码本学习的BoW紧凑零阶聚合描述子。为了解决BoW模型视觉词典规模过大、内存消耗过高、描述子大小无法可伸缩等问题,本方法通过离线学习的多个小规模码本对局部特征空间进行多次划分,在降低局部特征量化误差的同时,实现低内存消耗的视觉词典；然后利用多码本生成一个自适应于查询图像的查询码本,并用来对局部特征进行编码,从而得到大小可伸缩的低比特BoW紧凑描述子。在MPEG CDVS的多个标准数据集上,与现有算法对比结果显示,本方法在获取可伸缩低比特描述子的同时,视觉词典内存消耗更低,且检索性能更高。3.提出了一种基于率失真优化的Fisher紧凑高阶聚合描述子。本方法首次将描述子可伸缩性作为优化目标之一,使用比特约束标量量化算法自适应调整描述子大小,从而满足不同无线网络带宽的需求。同时,不同大小的紧凑描述子之间支持快速汉明距离度量,满足描述子互操作性。特别地,本方法量化过程计算复杂度很低。与现有算法的实验对比结果显示,本方法在显著提高搜索和匹配准确率的同时,内存消耗更低,压缩效率更快。本方法作为低比特移动视觉搜索的三项核心技术之一,已经被MPEG CDVS国际标准采纳。