伴随着互联网技术以及多媒体技术的迅速发展,海量的多媒体数据喷涌而出。然而,如何在这些类型多样,数量庞大的数据中获得真正有用的信息成为了一个难题。面对这种信息多元化趋势,跨媒体检索技术应运而生。与传统的单媒体检索相比,跨媒体检索可以满足人们在数据多源化时代下的检索需求。然而不同媒体之间存在着天然的异构鸿沟,这给跨媒体检索的实现带来了巨大的挑战。但多媒体数据具有底层特征差异,高层语义相关的特点,即不同多媒体数据形式存在差异,但其所表达的语义相同,这为跨媒体检索任务的实现提供了基本的理论依据。本文旨在利用深度学习的相关理论方法实现可靠高效的跨媒体检索方法,主体研究工作包括:（1）针对目前多数方法忽略媒体之间关联信息的问题,提出跨媒体残差注意力网络。该网络可以提取图像和文本的媒体内部特征,还能够挖掘多媒体数据之间的关联特征。同时,该网络利用注意力机制找出媒体数据中的关键部分,为关联学习提供精准的媒体数据内部特征。为了解决表征映射过程中的偏移问题,本文设计了一个基于分类损失和语义损失的跨媒体联合损失函数。该联合损失函数使用岛屿损失函数作为语义损失函数,交叉熵损失函数作为分类损失函数。通过联合损失函数,网络在确保不同类别可分离的基础上,约束类别内部的差异,以此提高表征分布的精度。（2）为了解决上述方法中网络特征提取能力不足的问题,提出了跨媒体两级网络。该网络使用多个不同的神经网络组成两级网络模型,利用底层网络对图像和文字进行特征提取,顶层网络挖掘媒体特征之间的关联关系。通过这一特殊网络结构,以此提高模型的特征提取能力。为了进一步增强网络的关联学习能力,提出了结合注意力的跨媒体关联损失函数。该损失函数借鉴了注意力机制的思想,利用学习到的特征注意力权重指导网络的投影映射过程,以此提高数据表征的分布精度。