跨模态检索作为当前多媒体研究领域的热点,能够满足互联网时代用户在不同媒体数据之间的搜索需求。相比传统的单模态检索,跨模态检索的难点在于不同模态数据的异构性使得它们难以直接比较。随着计算机视觉和自然语言处理中特征表示技术的发展,不同模态数据的特征表示是现阶段跨模态检索研究的关键点。跨模态检索的另一个关键问题就是如何将语义相关的不同模态信息关联起来。跨模态检索的发展除了方法上的研究以外,还有任务难度上的提升。以往的跨模态检索都是建立在粗粒度数据集上,细粒度数据集上的跨模态检索任务仍有待研究。细粒度跨模态检索相比粗粒度跨模态检索的一个重要区别在于细粒度跨模态检索的对象都是属于同一个大类下面的子类,比如鸟类的200个子物种之间的相互检索。细粒度跨模态检索的难点在于较小的类间差异,属于同一个大类下面的相似子类别可能具有相似的全局外观和相似的文字描述。与传统粗粒度跨模态检索相比,细粒度跨模态检索对模型提出了更高的要求。针对跨模态检索问题方法和任务上的拓展,本文的工作内容如下:（1）针对传统的图像文本粗粒度跨模态任务,本文提出了一种基于类别信息对齐的对抗学习方法,利用类别信息生成的嵌入引导不同模态特征在公共子空间对齐,使得不同模态数据特征在共同子空间中能够直接比较。同时本方法在训练阶段采用双向训练的策略,提升模型的表征能力。最后在四个传统的粗粒度跨模态数据集上验证了该方法,结果表明本方法对跨模态检索效果有显著提升,优于现有的方法。（2）在细粒度图像文本跨模态检索问题中,本文提出一种细粒度补充特征的深度网络方法。对于图像和文本分别使用细粒度特征提取工具进行特征提取,然后使用频繁模式挖掘算法提取图像的细粒度补充特征,对于文本则使用双向编码器模型提取细粒度文本补充特征。最后在公共子空间建立过程中引入类别标签损失、图像文本模态匹配损失和中心聚类损失来扩大子空间中类间的差距,减小类内的差异。本文在现有的细粒度跨模态检索数据集上和传统的跨模态数据集上验证了该方法,结果表明优于现有的细粒度跨模态检索方法。