近几年,深度神经网络体现出强大的学习能力,推动着计算机视觉和自然语言处理领域的发展。图像命名,物体分类,图像问答等计算机视觉和自然语言交叉学科也得到了很大程度上的发展。图像问答是以一张图片和基于图像的问答为输入,经过计算机的处理,输出基于图片的问题答案。大体的图像问答分为四步:第一步,提取图像特征;第二步,获取问题语义信息;第三步,结合图像语义信息;第四步,答案推理。其中,大多数的图像问答解决方案都是使用CNN(Convolutional Neural Network)来提取图像特征,我们称之为自顶向下的关注机制。在自顶向下的关注机制中,图像的每个像素对整体的图像特征是等贡献的。图像中的有用信息(图像中的物体)和无用信息(背景这种没有任何实物的信息)对整个图像特征也是等贡献的。通过这种方式,提取到的图像特征包含很多无用信息。除此之外,图像和文字特征信息融合,目前图像问答采取的方式有简单的特征向量相加、相乘以及单方面的关注机制。针对这两个问题,本文给出了相应的改进方法。针对图像特征冗余这一问题,我们选择采用一种自底向上的方式。通过这种方法,在提取全局分布信息的同外,还能得到图片的区域细节信息。这一框架主要是通过Fast R-CNN提取图片特征完成的。此外,图像特征和区域特征融合这里,我们采用了一种互关注机制。第一步:将问题总结成为一个单一向量q;第二步:基于上一步生成的问题向量生成图像信息;第三步:基于上一步生成的图像特征生成问题特征。互关注机制和普通的关注机制的差别在于,互关注是采用加权后的图像特征生成问题特征的权重。而不是单单用最初得到的未加权的特征,生成文字特征的权重。通过这一交互,能够得到更好的特征融合结果。我们的实验结果显示,在VQA2.0和visual genome数据集上,模型准确率都高于目前最好的实验结果。