近年来,随着移动互联网和社交媒体平台的发展,文本、图像、视频等多媒体数据迅速增长,用户不再满足于单一模态的检索进而对不同模态间数据检索的需求不断增加。为了实现不同模态数据之间的相互检索,跨模态检索方法应运而生。跨模态检索将一种模态的数据作为查询去检索其它模态中语义相似的数据。由于其广阔的应用前景,近年来受到研究人员的广泛关注。目前,大多数跨模态检索的工作利用跨模态数据的语义标注作为监督信息进行跨模态数据的表征学习,显著提升了跨模态检索的性能。但是此类有监督的跨模态检索方法在数据缺少类别标签时,它们的性能表现较差。在实际应用场景中,通常很难对大规模数据集进行标注,从而大大限制了这些方法的性能。而在现有的多媒体平台上,多模态数据通常是成对存在的,因此,探究如何利用大量无标签数据进行多模态学习具有广泛的应用前景。基于此,本文主要研究如何利用现有成对的大规模无标签数据进行学习从而得到具有判别性的特征表示,以提升模型在无监督场景下跨模态检索的性能。无监督跨模态检索面临以下挑战:1)由于不同模态数据具有不同的分布和表示,模态之间往往存在巨大的语义鸿沟。因此,如何消除不同模态之间的语义鸿沟是跨模态检索的一个挑战;2)由于无监督跨模态检索缺少类别信息作为监督,难以学习到跨模态数据的高级语义特征。因此,如何引入弱监督信号来指导语义特征的学习是无监督跨模态检索的另一挑战;3)现有的无监督跨模态检索未充分利用多模态数据之间的相互关系,因此如何有效的建模多模态数据之间的相互关系,学习到更具有判别性的特征表示是无监督跨模态检索的又一挑战。基于上述挑战,本文提出了 一种新颖的无监督跨模态检索方法——自监督相互关系学习,简称SCL,其能够充分利用大规模的无标注数据来学习具有判别性和模态不变性的表征。由于无监督学习缺乏类别标签作为监督信号,本文通过最大化不同模态特定映射器的输入和输出之间的互信息,引入输入特征中的知识作为弱监督信号指导模型学习。此外,为了学习具有判别性的特征表示,本文利用自监督对比学习方法来建模模态内和模态间样本之间的相互关系,使相似样本相互靠近,非相似样本相互远离。同时,为了进一步消除模态之间的语义鸿沟,本文采用权重共享策略,并在公共表示空间中最小化模态不变的损失函数。除此之外,本文也将所提出的无监督跨模态检索方法扩展到半监督场景下。在三个广泛使用的跨模态检索基准数据集上进行的大量实验表明,与现有的方法相比,本文的方法在无监督和半监督设定下都取得了优异的性能。