论文部分内容阅读
随着互联网技术的发展,海量图像数据不断涌入,人们对从海量数据中检索有效信息的需求不断增长。同时,近年来随着手机、平板等触摸屏技术的发展,基于草图的图像检索(Sketch-based Image Retrieval, SBIR)成为一种较为直观和有效的图像检索方式。相比于其他基于内容的图像检索方式,草图作为查询输入可以更好地描述关键信息,且更为直观和简洁。因此,基于草图的图像检索引起了研究人员的广泛关注。本文在深入分析基于草图的图像检索关键问题的基础上,以提高基于草图的图像检索性能为目标,开展了基于深度学习的草图图像检索技术研究。
本文提出了一种基于边缘引导跨域学习模型的草图图像检索方法,利用从自然图像中提取的边缘图作为草图域和自然图像域之间的桥梁,缩小域间差异。首先,采用提出的边缘引导模块融合自然图像及其对应的边缘图,从而引导网络在域对齐过程中生成更具辨析力的判别特征。然后,引入形状回归模块对自然图像特征进行重构,以捕获草图和自然图像之间固有的形状相似性。最后,通过构建中心损失函数减小特征的类内差异,加强输出特征的可区分性。通过端到端的网络训练过程,使网络模型有效地关联草图域和自然图像域。实验表明,所提出的方法在多个数据集上均取得了良好的检索性能。
本文同时提出了一种基于半异构联合嵌入网络的草图图像检索方法,该方法充分利用了草图、自然图像和边缘图三分支之间的相互作用关系,从而为检索任务学习更具辨析力的特征。半异构联合嵌入网络包括半异构特征映射和联合语义嵌入部分。半异构特征映射用于提取每个域的底部特征,联合语义嵌入将来自不同域的特征嵌入到共同的高层语义空间。为了进一步捕获自然图像和相应边缘图的公共判别特征,提出了一种协同注意力模型,以实现不同域通道级特征的重校准。此外,为了进一步在高层语义空间中对齐两个域,设计了一种混合损失机制,引入对齐损失和草图-边缘图对比损失,激励网络学习不同域间的跨域不变性表示。在三个广泛使用的草图图像检索数据集上的实验结果表明,所提出的方法优于当前最先进的方法。
本文提出了一种基于边缘引导跨域学习模型的草图图像检索方法,利用从自然图像中提取的边缘图作为草图域和自然图像域之间的桥梁,缩小域间差异。首先,采用提出的边缘引导模块融合自然图像及其对应的边缘图,从而引导网络在域对齐过程中生成更具辨析力的判别特征。然后,引入形状回归模块对自然图像特征进行重构,以捕获草图和自然图像之间固有的形状相似性。最后,通过构建中心损失函数减小特征的类内差异,加强输出特征的可区分性。通过端到端的网络训练过程,使网络模型有效地关联草图域和自然图像域。实验表明,所提出的方法在多个数据集上均取得了良好的检索性能。
本文同时提出了一种基于半异构联合嵌入网络的草图图像检索方法,该方法充分利用了草图、自然图像和边缘图三分支之间的相互作用关系,从而为检索任务学习更具辨析力的特征。半异构联合嵌入网络包括半异构特征映射和联合语义嵌入部分。半异构特征映射用于提取每个域的底部特征,联合语义嵌入将来自不同域的特征嵌入到共同的高层语义空间。为了进一步捕获自然图像和相应边缘图的公共判别特征,提出了一种协同注意力模型,以实现不同域通道级特征的重校准。此外,为了进一步在高层语义空间中对齐两个域,设计了一种混合损失机制,引入对齐损失和草图-边缘图对比损失,激励网络学习不同域间的跨域不变性表示。在三个广泛使用的草图图像检索数据集上的实验结果表明,所提出的方法优于当前最先进的方法。