论文部分内容阅读
随着计算机技术、多媒体技术和互联网技术的快速发展,人们可以更加便捷地制作和传播图像等多媒体数据,网络上的图像数据也因此呈现出爆炸式的增长。为了便于人们从海量的图像资源中快速找到感兴趣的图像,图像检索技术应运而生。基于视觉内容的图像检索指的是,根据查询图像的视觉特征,从大规模数据库中找到与之内容相关的图像,并依据与查询图像之间的特征相似度,对检索到的图像进行排序。由于图像的多样性和复杂性,实现准确而高效的图像检索是一个非常有挑战性的工作。对图像检索技术的研究具有重要的理论意义和实际应用价值。 局部特征是图像检索领域最常用的视觉特征。基于局部特征的图像检索方法可以分为两类:一是将局部特征聚合成单一的全局图像特征向量,通过图像特征向量之间的相似性来进行图像检索;二是通过图像之间局部特征的匹配来描述图像相似性,并以此进行图像检索。基于局部特征聚合的图像特征向量通常与压缩方法相结合,将图像特征表示成二进制串,以实现便捷存储和高效检索。考虑到不同应用环境对存储空间的要求不同,大小可伸缩的图像特征具有更好的环境适应能力,然而现有压缩方法很少考虑可伸缩性。基于局部特征匹配的图像检索方法,能够捕捉局部视觉细节的相似性,对图像中常见的遮挡、背景干扰有一定的鲁棒性。然而由于低层局部特征与高层语义之间存在着语义鸿沟,局部特征匹配过程无法避免大量的错误匹配。在局部特征的基础上融合语义特征,能够有效削弱语义鸿沟的影响。然而如何通过学习来获取易于表达、易于存储、可高效匹配的语义特征,也是一个重要的问题。本文针对这些问题,深入研究了基于局部特征和语义学习的图像检索技术,显著提高了图像检索准确度,并将相关成果应用到图像作品的版权保护中。本文的主要贡献和创新点如下: 1、提出了一种基于Fisher向量的可伸缩图像特征压缩方法 Fisher向量是常用的基于局部特征聚合的全局图像特征向量。本文以Fisher向量为基础,研究了可伸缩的图像特征压缩方法。该方法考虑的场景为,不同的应用环境对特征的存储空间有不同的要求,压缩后的特征大小若高于此要求,会使特征无法存储;若低于此要求,会造成存储资源的闲置。可伸缩的特征压缩方法能根据需求自适应调整图像特征的大小。本文方法以基于高斯模型的Fisher子向量为单位,并以高斯模型中最大软量化概率作为线索,通过对Fisher子向量的筛选,实现特征大小的可伸缩性,以此提高图像特征在不同环境下的适应能力。 2、提出了一种局部特征匹配与语义验证相结合的图像检索方法 基于局部特征匹配的图像检索方法中,局部特征的匹配精度直接影响到图像检索的准确度。由于局部特征作为一种低层视觉特征与高层语义概念之间存在着语义鸿沟,传统的局部特征匹配方法存在大量的错误匹配。针对此问题,本文提出了基于语义特征验证的局部特征匹配方法,以此提高局部特征匹配精度。本文在语义特征提取方式、用于局部特征匹配验证的语义线索选取方式、局部特征匹配验证函数、高效索引结构等方面提出了一系列创新方法。在此基础上,本文提出了局部特征匹配与语义验证相结合的图像检索方法。实验表明,该方法能够显著提高图像检索的准确度。 3、提出了一种基于卷积神经网络多特征哈希的二进制语义特征学习方法 为了增强用于局部特征匹配验证的语义特征的表达能力,进一步提高语义特征验证方式下的局部特征匹配精度,本文提出了基于卷积神经网络多特征哈希的二进制语义特征学习方法。该方法将卷积神经网络中多层的语义特征学习和高维语义特征所对应的哈希函数学习串接在一起,形成一种端到端的学习模式。在指定的图像检索数据集上学习完毕后,该卷积神经网络可以将图像直接转换成融合了多层语义特性的二进制语义特征,能够实现便捷的存储和高效的匹配。实验表明,将该方法得到的二进制语义特征应用到局部特征匹配与语义验证相结合的图像检索方法中,能够进一步提高图像检索准确度。 4、数字内容版权管理与服务平台 参与搭建数字内容版权管理与服务平台,将本文提出的特征提取方法和基于特征的图像检索方法成功应用于该平台的搭建和对外提供服务过程中,为用户提供了稳定、便捷的特征提取方式,为平台提供了高效的特征检索方式以及基于特征匹配的版权侵权监测方式。有效实现了该平台的图像内容版权登记与侵权监测功能,为该平台实现用户数字内容的版权登记、查询、验证、监测等服务提供了强大的技术支撑作用。