图像语义理解是指对图像中包含的信息进行解析,研究图像属于哪一类场景、图像中有哪些目标、各目标间的语义交互关系等。人类生活在一个多种信息交融的环境中,每一种信息的来源或形式都称为一种模态,要想让计算机能够从人类的角度理解世界,多模态信息的利用是必不可少的。本文围绕图像语义理解问题,以深度学习作为研究工具,以多模态嵌入融合作为研究方法,针对图像语义理解中的场景识别、场景图生成、图像描述三个任务开展研究。本文主要工作包括:（1）针对场景识别任务,选取目标交互关系复杂、相似度较高的五种典型室内场景为研究对象,提出一种基于多模态融合的场景识别方法。首先提取图像特征和语义特征,分别建立基于图像特征和语义特征的单模态场景识别模型;其次,基于图像和语义信息建立特征级融合模型和决策级融合模型;最后,对上述各模型分配不同的权重,建立混合融合模型,为每张图片分配场景语义标签。（2）针对场景图生成任务,考虑到数据集存在长尾分布、高级语义交互关系出现频次少等问题,提出一种基于语义描述的多模态融合场景图生成方法。首先对图像进行目标检测、关系推理,构建图像场景图;其次,将语义描述转化为语义图,将语义图输入到预先训练的场景图解析器构建语义场景图;最后,将两个场景图进行显示对齐,更新节点和边的信息,从而得到覆盖更全面、语义交互信息更准确的融合场景图。（3）针对图像描述任务,考虑到现阶段图像描述简单、结果过于依赖训练数据等问题,构建一种基于场景图和语义先验的图像描述模型。首先,将原始图像特征与场景图特征初步融合,并将场景图编码嵌入到特征空间;其次,使用现有数据集中的图像描述,通过语句重构任务训练一个记忆网络来存储语义先验知识;最后,将场景图特征与语义先验知识融合进行特征重构,将重构后的特征输入语句解码器生成图像描述。