论文部分内容阅读
面对着快速增长的多媒体数据,如何对其进行快速、精准地检索成为了一个亟待解决的问题。传统的图像检索技术对于模型的训练需要大量的标注数据,然而,标注数据的获取十分耗费人力和物力。为此,学界提出了能够对在训练阶段没有出现的类别进行搜索的零样本检索技术。针对零样本检索技术,本文分别提出了基于嵌入语义损失的零样本检索(Semantic Softmax Loss,SSL)算法和基于属性引导的跨模态零样本检索(Attribute-Guided Network,AgNet)算法。不同于当前的零样本学习方法直接使用线性或双线性方式建立视觉和语义信息的映射,SSL算法充分发掘不同模态之间的数据信息。通过将类别语义描述嵌入到softmax层中,使之成为解决零样本问题的非线性方法。同时,为了减少视觉空间和类别语义描述空间之间的差异,SSL提出对视觉特征和由类别描述生成的视觉特征之间施加L2约束。本文将所提的SSL算法应用于零样本检索任务中,在AwA、CUB和SUN等主流数据集上的实验证明了相比于当前的算法,所提SSL算法对性能有了很大提升。同时,为了进一步验证算法的有效性,本文也将SSL应用于零样本分类任务中,同样取得了很好的分类结果。本文针对零样本学习与哈希检索的结合也进行了探究。当前的零样本哈希算法只关注在未见类上进行基于图像的图像检索,是对单一模态的检索。然而,零样本检索问题可以看做是跨模态检索任务,本文提出基于属性引导的跨模态零样本哈希(Attribute-Guided Network,AgNet)检索算法,对跨模态零样本哈希任务进行了深入研究。AgNet算法将不同模态的数据转化为更高级别的属性语义空间,并利用类别相似度损失函数和属性相似度损失函数构建不同模态数据之间的近邻关系。为了验证所提算法的有效性,本文将AgNet应用于跨模态和单模态的零样本哈希检索任务,在AwA、SUN和ImageNet等三个主流数据集上的实验证明了AgNet算法性能超过当前主流算法。同时,进一步的实验来探究了属性对AgNet算法性能的影响。此外,通过利用可视化手段,进一步分析了AgNet在各个类别间的性能表现,以及在各数据空间中的性能变化,充分证明AgNet算法是一种行之有效的跨模态零样本哈希算法。