近年来,结合计算机视觉与自然语言处理的多模态任务视觉问答,引起研究者越来越多的注意。不同于跨模态任务图像字幕生成,只简单的用一句话来描述图像主要内容,视觉问答任务旨在让机器自动回答与输入图像相关的自然语言问题,其涉及多模态内容信息理解,需要对图像问题数据进行提取分析,从而推理出正确答案。任务对模型的图像细粒度理解有较高的要求。视觉问答的关键在于视觉图像与自然语言的共同语义理解,以及视觉与语义之间的联合引导,联合推理。注意力机制是实现多模态联合的一种有效方式。然而现有的视觉问答方法依旧存在很多问题。基于这些问题,本文对视觉问答中的注意力机制进行了进一步的探索,对注意力网络做了一些改进。本文主要的工作和创新点总结如下:(1)结合多视角注意力机制的细粒度视觉问答方法。本文提出了基于多视角的注意力机制的视觉问答模型。在视觉问答任务中,语义,图像表达具有多样性。特别地,有一些问题需要模型理解图像中多个目标对象之间的语义表达。因此,单一视觉注意力模型不能够有效挖掘图像中不同语义对象与问题语义之间的关联性。本文提出的多视角注意力机制网络可以对图像进行不同视角的信息筛选,有效的关注到所有图像中需要关注的部分。模型通过上下层不同的注意力模块,共同关注计算图像权重,并进行联合加权。本文在公开数据集VQA v2.0上取得了较好的结果。(2)结合自相关与交互引导式注意力机制的视觉问答方法。本文提出了结合自相关与交互引导式注意力机制的视觉问答模型,模型建立了问题与视觉图像各自模态内的自相关注意力模块,其次通过不同模态间数据的语义引导作用建立了问题-图像,图像-问题的交互引导式注意力模块,有效增强视觉图像信息与文本问题信息的高层语义交互,从而提升模型的整体泛化能力。优化建立了模态间信息流的交互。实验结果及消融分析表明,本文提出的视觉问答模型能够更为精确地预测视觉问答结果,具有良好的鲁棒性和可扩展性。