作为一项高级视觉任务,视觉问答技术旨在准确回答给定图像的自然语言问题,在医疗援助、智能客服、人机交互、视觉导航等研究方向有着广泛的应用前景。视觉问答是一项艰巨的多模态任务,因为这项技术不仅需要了解图像的视觉对象及对象间的关系,还需要深度的理解图像中隐含的语义信息。最近,注意力神经网络及其变种通过结合问题特征与图像特征的方法预测答案,并获得令人瞩目的效果。然而,这一类方法没有对现实场景中视觉对象之间的关系进行建模。并且现有的视觉问答系统忽略了图像中隐含的高层次语义信息,同时缺乏对语义信息的多粒度理解能力。因此,视觉问答任务的关键挑战是在推理过程中得到有效的语义嵌入和细粒度的视觉理解。针对上述问题,本文提出一系列的改进措施。针对如何建模并推理图像中视觉对象之间的关系,本文提出视觉关系推理模块。针对如何获取有效语义嵌入的问题,本文提出视觉语义双通道方法,并设计多角度语义模块以提升模型的多粒度语义理解能力。此外,本文还引入门控机制,以自适应的控制视觉通道与语义通道对答案预测的贡献。本文的主要创新工作如下:（1）本文提出视觉语义双通道方法,该方法主要由视觉通道与语义通道组成,可以同时捕捉图像的视觉信息与语义信息。同时在后期融合阶段引入门控机制以自适应的选择视觉线索与语义线索来回答不同的问题,该机制也使模型在训练过程中能够更快的收敛。（2）本文提出视觉关系推理模块以加强图像中显著区域的相关性,建模并推理视觉对象之间的关系。视觉关系推理模块主要由特征融合、二元关系推理与多元关系推理三部分组成,其中二元关系推理与多元关系推理能够获取不同的对象关系类型。（3）本文提出一种多角度语义模块获取语义模态特征,其中多角度语义模块包含完全融合、平均池化融合、注意力融合及最大注意力融合四种融合策略。该模块能够在获取有效语义嵌入的同时提升模型的多粒度语义理解能力。（4）本文在VQA 1.0数据集、VQA 2.0数据集与Text VQA数据集上评估模型效果。实验结果表明,本文提出的方法相比于其他现有方法具有更好的表现。定性分析表明,本文的视觉语义双通道方法能够揭示模型选择不同模态信息的过程。