视觉问答是近年来人工智能领域兴起的热门研究方向之一,VQA的核心问题是如何构建图像与问题之间的关联关系。图像与问题之间存在着语义鸿沟,阻碍了图像与问题中语义信息的有机融合。解决语义鸿沟问题的一个基本思路,是同时对图像和问题进行处理,以找出两者之间的强关联部位。为此,本文针对图像和问题之间的有机融合与关联问题开展研究,并据此设计高性能的视觉问答模型。本文的主要工作如下:(1)视觉问答模型广泛采用了注意力机制来突出关键信息的作用,抑制无关信息的影响,但是现有模型多倾向于使用问题信息去关注和处理图像,而很少使用图像信息来关注和处理问题,使得对问题中关键信息的提炼失去根据,影响了视觉问答模型的整体性能。为此,本文提出了一个基于级联的自上而下注意力机制模型。该模型利用问题来引导图像注意力,以突出图像中的重要区域,同时也利用图像来引导问题注意力,以突出问题中的重点单词,这样既能有效地突出与问题相关的图像区域,也能有效地突出与图像相关的问题单词,使得图像和问题之间的关联更加紧密。该模型在两个公开的视觉问答数据集上进行了实验,实验结果表明,该模型可以有效提高视觉问答的整体性能。(2)目前视觉问答模型采用的注意力机制,广泛存在着归一化操作。本文的研究表明,这可能是一个薄弱环节,因为在处理同时涉及图像中多个区域信息的复杂问题时,归一化操作会降低模型对图像多个区域同时关注的能力。为此,本文提出了基于多层图像特征融合的注意力模型。该模型多次利用问题对图像施加注意力机制,然后突出图像中与问题相关的多个区域,以解决那些需要多个图像区域信息才能回答的问题,从而提高VQA任务的整体性能。该模型在两个公开视觉问答数据集上进行了实验。实验结果表明,该模型有效地提高了视觉问答的整体性能。