随着网络的普及以及大规模食物数据的涌现,为了有效获得所需的食物信息,食物计算领域的跨模态菜谱检索得到了广泛关注。跨模态菜谱检索是食物图像和菜谱之间的相互检索,跨模态菜谱检索的难点在于食物图像和菜谱之间的关系极为复杂:有较多的食物图像外观相似且部分图像存在着干扰信息;在烹饪过程中有的食物配料变得不可见或者配料外形会发生变化;烹饪指示中暗含着配料与食物成品图像的某种关系。现有研究方法存在的问题:1.由于图像和菜谱的特征提取器均是独立的,存在单模态信息缺失和特征之间缺少交互的问题;2.部分研究使用two-stage的方法将图像和菜谱映射到语义空间,针对语义空间构建的研究使用到的语义信息仅覆盖了约一半的数据集,语义信息较为粗糙。针对现有研究方法存在的问题,本文提出两个解决策略:针对问题1:本文提出基于注意力机制和隐式对齐的跨模态菜谱检索策略,该策略分别对图像和菜谱的特征提取器添加注意力模块用于深刻理解图像和菜谱表达的内容,由于图像和菜谱的特征提取器、注意力机制均是独立的,针对该问题提出一种隐式对齐模块,解决单模态信息缺失和特征之间缺少交互的问题。针对问题2:本文提出一个one-stage的策略,名为基于双重语义的跨模态菜谱检索,该策略使用类别和标题来构建语义空间。引入标题是为了弥补类别语义较为粗糙的问题,缩小图像和菜谱之间的语义差异;现有研究使用分类网络来学习类别语义空间,本文将类别语义融合进损失函数使具有相同语义的图像和菜谱在同一个语义空间。本文提出的两种策略,有一定的互补性,将两种策略提取出的嵌入进行融合,提出基于融合的跨模态菜谱检索,在最好的情况下,基于融合的跨模态菜谱检索比现有最好的方法提高了6.4%。