神经网络的发展和大型数据集的增多,以及计算机硬件运算能力的提升,使得基于深度学习的技术在单模态（图像、文字、语音）已经取得的巨大的发展和应用。但是,多模态理解和交互等人类高级认知和推理功能还是很弱。针对这个问题,本文研究多模态交互领域一个极其重要的研究课题——视觉问答（VAQ）。视觉问答涉及图像和文本两个模态的信息,由于卷积神经网络（CNN）和循环神经网络（RNN）分别在图像和文本上的突出表现,许多基于卷积网络和循环网络组合的模型在视觉问答任务中体现了很好地效果。随着注意力机制的出现,产生了许多基于注意力机制的模型,但是现有模型在整体准确率上仍然不是特别理想,尤其是在回答复杂的需要推理的问题以及计数问题方面。针对目前模型整体准确率不高的问题,本文提出一种基于分层联合注意力机制的视觉问答模型。随后针对现有模型回答复杂问题准确率低的问题,基于视觉推理思想提出基于推理网络的视觉问答模型。实验结果表明具有推理能力的模型回答复杂问题的准确率明显高于现有的其他方法。本文重点研究了基于深度学习的视觉问答模型,利用深度学习方法处理视觉问答任务,其主要研究内容包括:1)深入研究注意力机制,构建一个能够对图像和问题进行双向关注的分层联合注意力模型,使用分层注意力对问题特征进行多次提取,随后利用联合注意力构建图像-问题的特征映射,增强问题与图像的关联,实验证明分层联合注意力模型可以提高图像—问题之间的关联,提高结果准确性。2)针对模型在复杂问题上准确率不高的问题,基于视觉推理搭建推理网络模块使得模型可以提取复杂问题特征以提高模型的推理能力。3)使用Res Net-152提取深层次的图像特征,在问题注意力和视觉注意力的作用下构建视觉文本联合内存记忆向量,帮助模型推理预测答案,经过试验,在原有数据集的基础上对于复杂问题结果的预测取得了很好地效果。