食物与人类生活和繁衍密切相关。烹饪视频、食物图片和菜谱等多媒体数据在互联网上广泛传播,为许多与食物相关的研究带来了机遇。本文主要研究的跨模态菜谱图文检索任务,旨在通过一个模态中的食物图像或菜谱来检索另一模态中最相关的菜谱或食物图像。图像与菜谱的互相检索是跨模态检索领域的一个重要子任务,实现食物在不同模态数据之间的联系可以进一步方便与食物相关的记录、追踪等,这对未来的智能健康应用有着重要意义。目前已有一些方法提出了可行的解决方案来实现图像-菜谱跨模态检索的目标。但是,由于食物图像的多样性与菜谱文本的多层级性,仍然存在一些难点亟需解决。食物图像的全局特征表示被广泛使用,这容易导致忽略信息丰富的细粒度食物图像区域。菜谱中食材和烹饪说明的关键信息通常同时出现,而它们各自独立的特征并不能很好地表示二者的联系。在跨模态特征学习上,将食物图像和菜谱投影到公共子空间中来学习特征的分布,缺乏二者直接的信息交互和融合。因此,本文重点关注以下三个方面:食材和烹饪说明之间的关联、细粒度的图像信息以及菜谱和图像之间的潜在对齐。首先,本文提出了一种新的框架,称作模态内和模态间交叉注意力机制下的混合融合（HF-ICMA）模型来学习准确的图像-菜谱相似性。菜谱模态内的融合模块被用于促进食材和烹饪说明的信息交互。图像-菜谱跨模态融合模块用于探索细粒度图像区域和菜谱中食材之间的潜在关系。整个检索框架从局部和全局两个方面共同得出最终的图像-菜谱相似度。为了进一步简化跨模态菜谱图文检索模型并减轻训练负担,本文提出了一种新颖的轻量级框架:模态内和模态间自注意力机制下的混合融合（IMHF）模型。所提出的模型摒弃了单独的深度视觉编码器,通过应用Transformer模块以单一统一的方式处理图像和菜谱。通过这种方式,旨在从图像和菜谱中提取关联的有价值信息,实现模态内和模态间的信息融合并促进两种模式之间的直接信息交互。应用以上提出的两种算法模型,本文在被广泛使用的大型数据集Recipe1M上进行了大量跨模态检索实验。与现有的众多基线工作的实验结果对比表明本文所提出的方法在评价指标上超越了目前最先进的方法达到了当前最优的水平,具有卓越的检索表现。本文研究的跨模态菜谱图文检索任务,搭建了食物图像与菜谱的信息桥梁,可进一步用于食物相关的研究例如菜谱推荐、健康管理等。