近几年，随着人工智能与多媒体技术的飞速发展，人们的工作、生活以及娱乐在智能终端呈现出丰富的多模态样式，导致多模态数据呈爆炸式地增长，这些数据主要包括文本、图像、音频等。由此，跨模态检索的研究逐渐成为多媒体领域的一大热点。并且由于不同模态数据之间表示的形态不同，计算机难以理解不同模态数据分别表示的对应的含义是否相同，使得跨模态检索也成为多媒体领域研究的难点之一。
　　菜谱中不同模态数据相互检索是人们生活中普遍的应用。本文主要研究的是针对图像和文本的跨模态菜谱检索，它是指从将菜谱中的文本作为查询，从图像候选列表中检索对应图像，或者以图像作为查询，检索对应的文本。但是，现有的跨模态菜谱检索方法主要集中于分别学习图像和文本的表示，然后将它们投影到一个公共空间中进行整合。这些方法忽略了菜谱的图像和文本之间的相互作用，导致检索效果不好。因此，本文提出的面向菜谱领域的跨模态检索方法研究具有重要的研究意义及应用价值。主要研究工作如下：
　　(1)基于注意力网络进行图像与文本交互的菜谱检索，我们分别提出平行注意力神经网络和交叉注意力网络研究了跨模态菜谱检索问题。具体来说，平行注意力神经网络通过使用菜谱的上下文信息来单独学习图像和文本中各个部分的注意力权重来更好的学习图像和文本的表示，然后映射到公共空间进行相互检索；交叉注意力神经网络使用菜谱的图像引导文本的注意力并且用文本引导图像的注意力，分别得到菜谱的图像和文本的表示后再映射到公共空间进行检索。这两个方法很好的利用了菜谱的图像和文本之间的交互信息，可以大大提高检索的准确性。
　　(2)基于融合网络进行图像与文本交互的菜谱检索，受(1)中利用菜谱图像和文本交互信息的注意力网络的对检索准确率提高的有效性的启发，我们提出一个融合网络整合以上两种方法得到菜谱图像和文本的表示，得到更加准确的表示特征。通过实验证明，菜谱图像和文本检索准确率在以上两种方法上有了明显的提高。
　　最后通过在两个数据集进行实验，我们在整体性能比较和微观分析的范围内证明了我们提出的解决方案的有效性和合理性。