视觉推理是一类重要的视觉-文本多模态内容理解和智能评估任务,其目标是构建具备视觉感知、语言理解及推理能力的问答系统。虽然相关研究已经取得了显著的进展,但仍旧面临着知识融合程度低、推理解释能力弱等问题,限制了智能视觉推理系统的进一步发展。为了解决上述挑战,本文借助图结构（Graph）善于表征关系数据、具备良好可解释性的互补优势,研究如何在视觉推理中有机结合图结构表示。这将有利于突破现有视觉推理模型的瓶颈,推动相关研究向更智能化的方向发展。本文从融合外部知识图赋能传统模型、构造模块推理图提升可解释性、学习语义时空图增强表征能力这三个角度出发,提出了三种基于图结构的视觉推理方法。本文的主要贡献和研究内容如下: ·提出了基于外部知识图的增强式视觉推理方法:大多数视觉推理方法仅依靠 分析给定的图片和问题来得出答案,无法回答需要外部知识的视觉问题。一 些工作尝试引入外部知识图谱,但往往难以应用在多样化的开放问答场景。 本文提出了一个知识图谱增强模型,在知识图谱空间中发掘图片-问题上下文 实体与答案实体之间的关联,从知识驱动的角度增强传统数据驱动的方法。 实验结果表明该模型在多种实验设定下有效提升了基准模型的性能。 ·提出了基于模块推理图的可解释视觉推理方法:传统的视觉推理方法采用整 体（Monolithic）神经网络模型,推理过程往往缺乏可解释性。近期一些工作 采用模块化思想,使用一组预定义的神经模块取代传统的整体模型,但在真 实视觉场景下依然难以实现可解释的模块化推理。本文提出了一种模块化视 觉推理模型,通过设计真实场景适用的神经模块组以及模块推理图（树）上 的动态多任务优化策略,将神经模块的功能解耦,实现了真实视觉场景下的 可解释、组合式的推理过程。 ·提出了基于语义时空图的自监督视觉推理方法:传统上的视觉推理模型大多 以一系列无语义的深度视觉特征作为视频表征,难以建模多物体、多事件场 景下物体间的复杂时空交互关系。本文提出了一种基于语义时空图的自监督 视觉推理方法,通过构建物体级别的视频时空图表征以及自监督的事件识别 任务,形成了物体级和事件级的语义约束。实验结果表明该方法展现出了很 好的性能,相比基线方法取得了显著的准确率提升。