随着互联网和社交网络的发展,网络上存在大量多源异构大数据。使用一个模态数据去检索其它模态数据的需求日益增加,跨模态检索就适用于这种场景。当数据量非常大时,如何实现快速、准确的跨模态检索是亟待解决的问题。近些年来,深度跨模态哈希检索借助哈希码存储开销小、相似性计算快的优势,以及深度神经网络强大的数据特征表达能力,引起研究者的广泛关注。然而,多数现有深度跨模态哈希检索方法简单地定义模态内和模态间样本对的语义相似性为离散的0（没有公共类别）或者1（有公共类别）,而忽略了很多跨模态检索数据集和实际应用数据具有多标记信息,由于多标记数据集中的样本对有公共类别并且还有各自不同的类别,造成不能准确定义跨模态检索中成对样本的语义相似性,会对后续的哈希映射函数学习和哈希码学习产生影响,进而降低算法的跨模态检索精度。针对这一问题,本文以图像-文本二模态为例,在深度跨模态哈希检索中引入多标记学习,准确定义样本之间语义相似性,并进一步引入有效的多标记语义相似性约束策略,提高深度跨模态哈希检索精度。论文主要工作如下:1.现有的多数深度跨模态哈希方法没有基于多标记准确计算成对样本语义相似性,限制了深度跨模态哈希模型的学习能力。为解决此问题,本文提出一种基于多标记语义保护的深度跨模态哈希算法（Multi-label semantics preserving based deep cross-modal hashing,MLSPH）。MLSPH算法首先使用训练样本的多标记计算初始样本的语义相似性。随后,MLSPH算法基于定义的多标记语义相似性度量方法,定义一个多标记语义相似性保护策略。此外,MLSPH算法引入一个memory bank机制用于保持多标记语义相似性约束。在几个基准数据集上的实验表明,所提出的MLSPH算法超过了代表性的对比算法,并取得了较高的跨模态检索精度。2.上述MLSPH算法定义了成对样本多标记语义相似性,却又出现成对样本多标记语义相似性与相应哈希码相似性难于优化问题。为了解决这个问题,本文提出一种基于分层语义保护的多标记深度跨模态哈希算法（Hierarchical semantic preserving for multi-label deep cross-modal hashing,HCMH）。具体来说,首先,HCMH算法引入一种基于多标记的语义相似度计算准则,该准则利用多标记计算跨模态样本对的语义相似度。之后,对于不同范围的多标记语义相似度,该算法在实值哈希表示生成过程中利用Jensen-Shannon散度或负对数似然损失保持样本之间的语义相似度不变。在三个跨模态检索数据集的实验表明HCMH算法可以获得较好的跨模态检索精度。3.上述MLSPH算法和HCMH算法基于多标记信息准确计算样本之间的语义相关性,然而它们直接使用所有模态来学习哈希映射函数,忽略了每个模态中的原始数据都可能包含噪声的事实。为解决这个问题,本文提出一种基于多标记增强的自监督深度跨模态哈希算法（Multi-label enhancement based self-supervised deep cross-modal hashing,MESDCH）。MESDCH算法首先提出一个多标记语义相关性保护模块,该模块使用Re LU变换将算法学到的哈希表示之间的相似性的取值范围映射到多标记语义相关性的取值范围,同时,该模块定义一个正值约束的Kullback-Leibler损失函数,用于保持哈希表示的相似性与多标记语义相似性一致。最后,MESDCH算法将该模块与自监督语义生成模块整合,用于进一步提高深度跨模态哈希的性能。在四个跨模态检索标准数据集上的实验表明,提出的MESDCH算法在跨模态检索上取得了较好的表现。4.MESDCH算法利用多标记来监督哈希映射函数的学习,然而由于多标记的特征空间较稀疏,导致学到的哈希映射函数效果一般。针对这个问题,本文进一步提出一种基于多标记模态增强注意力的自监督深度跨模态哈希算法（Multi-label modality enhanced attention based self-supervised deep cross-modal hashing,MMACH）。具体来说,MMACH算法定义一个多标记模态增强的注意力模块,该模块借助注意力机制,使用多模态数据补偿稀疏的多标记特征信息。与此同时,MMACH算法定义一个多标记跨模态三元组损失函数,用于确保拥有较多公共类别的跨模态样本对具有较相似的哈希表示,拥有较少公共类别的跨模态样本对具有相对不相似的哈希表示。最后将定义的多标记模态增强注意力模块和多标记跨模态三元组损失函数用于深度跨模态哈希,借助自监督的方式实现基于多标记模态增强注意力的自监督深度跨模态哈希算法。在四个跨模态检索数据集上的实验证明了我们提出的MMACH算法的效果和效率。