视觉问答已成为多模态学习中最重要的任务之一,现有方法主要依靠提取图像和问题特征来通过线性多模态融合或注意机制学习它们的联合特征嵌入。如何提高模型对文本和图像信息的表达能力,如何消除视觉表示和语义表示之间的语义鸿沟,以及如何解决因过度依赖问题和答案之间的表面相关性,而忽略图像信息的语言先验问题成为视觉问答任务的热点问题。针对图像编码表达能力不足的问题,定义两种关系图描述图像对象之间的联系,提出基于关系图的双注意力视觉编码器（DualVA）,使用图注意力网络和自注意力网络根据关系图进行模态内推理。不同于使用传统卷积网络暴力提取图像全局特征或直接使用孤立的目标区域特征作为图像编码,该方法使每个目标区域嵌入包含与它相关的上下文信息,提升由对象编码构成的图像编码的表达能力。最后在VQA v2.0数据集上进行消融实验,相比于直接使用孤立的目标区域作为图像编码的BUTD,和使用堆叠自注意力视觉编码的MCAN,使用DualVA准确率分别提升3.3%和0.8%左右,实验表明DualVA编码器具有更强的特征表达能力。针对消除模态间语义鸿沟的问题,提出基于多模态交叉注意力的混合编码器,通过交叉注意力混合编码使不同模态空间的语言表示和视觉表示在同一空间中对齐,实现模态间语义一致的信息交互。同时受Bert启发,设计两个交叉模态的预训练任务,帮助建立模态间的映射关系。通过消融实验证明,经过对齐后再融合生成答案的方法效果优于其他多模态融合方法。除此之外,还通过对注意力模块学习得到的代表相关性的矩阵进行可视化,验证了通过交叉注意力计算语言和视觉之间可以相互映射。针对语言先验性问题,提出基于双目标的答案生成模块,除了传统的分类目标外,提出一个新的训练目标,即在答案投影空间中利用融合生成的答案嵌入和真实答案嵌入的投影进行噪声对比估计,以缩小生成答案与真实答案之间的语义差距,使生成的答案中嵌入更多的语义信息。最后在VQA v2和VQA CP v2视觉问答数据集上对整体模型进行测试,准确率分别达到72.47%和51.32%,高于部分代表性SOTA模型。