在信息时代下,随着互联网技术的发展以及信息传输速率的加快,海量的数据等待着挖掘,数据的种类不断增多,因此,在海量数据中通过某种模态数据去检索其他种类的模态数据是这个大数据时代需要解决的问题,而基于深度学习的跨模态检索技术是目前最先进的技术,但是目前的跨模态检索技术训练时间较长,寻优能力和收敛能力通常不能兼顾。本文在MS-COCO数据集和Flickr30K数据集的基础上进行实验,通过使用深度卷积网络和深度循环网络分别对图片数据和文本数据进行抽象学习,直接得到各模态数据的高级语义特征,对得到的高级语义特征进行优化嵌入后,得到一个欧几里得空间,空间上的距离对应着多模态数据之间的相似度,使用三重挖掘方法生成的匹配/不匹配方法和反向传播方法,让对应的多模态数据在学得的空间上更紧凑。本文的主要研究内容包括以下几个方面:(1)本文提出了一种基于周期性权重变化的嵌入网络。在基于匹配对和非匹配对的三元组挖掘方法上,引入周期性权重变化,得到小批量的异类样本对和距离最短的异类样本对组成的损失函数,由于权重在合理的有界值之间循环变换,在不增加额外训练成本的前提下,提升了准确率,减缓了敏感噪声。(2)本文提出了一种基于聚类的新的网络训练方法。根据同类数据节点在嵌入空间上聚集,异类数据节点在空间上远离的特点,提出单分支网络优先训练方法,在单分支网络训练完成后,固定该分支网络的参数,通过双向检索目标损失函数对另一个分支网络进行训练,由于提前减缓了训练数据的噪声,因此训练时间更短,训练效果更稳定。对以上的研究内容进行实验,基于周期性权重变化的组合模型和基于文本聚类的分支网络优先训练方法均比目前的先进的VSE++和Embedding Net算法的性能要好。