随着互联网的快速发展,图片、文字、视屏等各种模态的数据爆炸式增长,人类进入了大数据时代。人们产生了从海量数据中快速、准确获取信息的需求,问答系统成为学术界和工业界所关注的热点。视觉问答是问答系统前沿发展方向之一,旨在从图像中获取信息,对用户关于图像不同的问题进行准确的回答。同时,图片数据拥有越来越复杂而详尽的标注信息,这些标注信息包含了丰富的图片中对象属性和对象关系的语义信息。因此,如何有效利用额外信息提高视觉问答模型回答问题的准确率,是当前亟待解决的一个关键问题。利用额外信息的视觉问答主要分为利用图像描述的视觉问答和利用场景图的视觉问答。现有的利用图像描述信息的视觉问答算法,只考虑图像和问题之间,图像和图像描述之间的关系,缺乏对图像、问题和图像描述三者共同关系的考虑。此外,现有利用场景图的视觉问答算法,大多以生成场景图的方式利用场景图标注,但生成的场景图对象与问题无关,存在信息冗余。针对上述问题,本文设计并实现了利用图像描述和场景图信息的视觉问答算法。针对利用图像描述的视觉问答,本文提出了结合知识蒸馏的基于三线性注意力算法。针对缺乏对图像、问题和图像描述三者共同关系的考虑的问题,本算法设计三线性注意力模型来获取三方特征之间的关系。针对测试集中图像描述标签缺失的问题,本算法设计知识蒸馏模块来利用训练集中的图像描述信息。在数据集进行实验测试的结果表明,本文提出的利用图像描述的视觉问答算法,充分利用了图像、问题和图像描述之间的共同关系信息,并充分利用训练集中的图像描述信息,获取了较高的准确率。针对利用场景图的视觉问答,本文提出了基于注意力机制的场景图优化算法。针对场景图对象存在冗余的问题,本算法设计了基于软注意力机制的场景图对象筛选模型来为减少信息冗余的影响。针对场景图对象与问题无关,本算法设计了基于协同注意力机制的场景关系生成模型来考虑问题中的实体信息。在数据集进行实验测试的结果表明,本文提出的利用场景图的视觉问答算法,减少场景图对象中冗余信息的影响,充分利用问题中的实体信息,获取了较高的准确率。