视觉问答(Visual Question Answering,VQA)是一项结合自然语言处理(Natural Language Processing,NLP)与计算机视觉(Computer Vision,CV)的联合学习任务。作为一个全新的跨领域研究方向,VQA需要在理解图像内容的基础上,根据具体问题给出符合人类表述习惯的回答。这一任务的关键在于对图像视觉信息与文本语义信息进行充分理解,挖掘出两类数据模态之间的关联关系。本文在VQA现有研究基础上,对涉及到的关键性问题展开深入研究,具体内容如下:针对现有视觉问答研究无法有效利用注意力机制以及忽视图像-问题-答案三元组之间隐藏关系的问题,本文提出了一种基于多层注意力机制的视觉问答方法。通过使用Faster-RCNN和门控循环单元(Gated Recurrent Unit,GRU)来提取图像视觉特征和问题语义特征,并利用引入多层注意力机制的Transformer模型实现多模态信息交互,获取融合答案语义信息和图片-问题融合信息的特征,最后根据获取特征进行答案预测。实验结果表明,本文提出方法准确率达到67.23%,在实验结果上优于现有研究方法,验证了提出方法的有效性。针对现有视觉问答研究未能充分利用图像的物体关系以及高层语义特征的问题,本文提出一种基于高层语义以及图卷积网络的视觉问答方法。首先,设计一个语义关系特征检测器,利用Faster-RCNN和Vr R-VG数据集学习图像中单个物体属性及物体间的高层语义关系;其次,采用自循环来探究图像和问题间的共现关系;最后,通过图卷积神经网络(Graph Convolutional Network,GCN)对语义关系和共现关系进行结合,生成基于问题的视觉特征图表示,并将其反馈到传统VQA模块中进行答案预测。本文提出方法在VQA2.0的数据集上的测试准确率达到67.3%,论证了高层语义信息和图卷积网络在视觉问答的重要性。最后,本文对上述研究工作进行了总结与展望。