视觉关系作为图像中孤立对象间的纽带,反映了对象之间的交互类型,是图像理解的一项重要研究。近些年,图像分类和目标检测快速发展,研究人员逐渐开始探索更高级的语义推理任务。视觉关系检测作为场景理解的中间级任务,能够连接计算机视觉和自然语言,促进一系列高级计算机视觉任务,例如图像字幕生成、视觉图像问答和图像检索等。视觉关系检测任务是检测和定位图像中的对象,同时预测它们之间的关系。通常通过主语-谓语-宾语的三元组表示一组视觉关系,用于描述图像的局部区域语义,例如“人骑车(personride bike)”。但是,由于每种关系类型涉及不同的对象组合,并且不同的对象组合表现出不同的交互类型,从而导致仅基于视觉特征的关系检测成为一项艰巨的任务。现阶段关系检测方法大多数都采用对象检测的流程,通过提取对象组合区域特征来生成视觉短语语义特征,然后将视觉关系当作分类问题进行处理。然而,这种矩形区域特征提取方式假设背景环境对预测关系类型总是有用的,导致模型在一些复杂环境下无法提取重要信息。为此,本文设计并实现了基于注意力机制的视觉关系检测算法。另外,本文将图方法应用于视觉关系检测任务,通过对图像中不同对象区域建立相关性联系,设计并实现了一种基于图神经网络检测视觉关系的通用网络框架。本文的主要工作和创新点如下:(1)基于注意力机制的视觉关系检测算法实现研究。本文介绍了一种新的视觉关系检测网络模型,该模型以目标检测算法为基础,采用了对象语义推理和注意力机制来提升视觉关系检测的性能。为了克服视觉外观多样性对实际检测的影响,该算法将语义推理模块和视觉特征结合并相互补充。本文设计了两种不同的注意力机制,分别用于对象特征提炼和短语特征提炼。为了获得每个对象的上下文信息,对象特征细化模块通过查询图像中的其他对象来增强每个对象的特征表示。另外提出了短语特征优化模块,使模型自动学习并关注相关图像区域,从而提升视觉关系检测任务的性能。(2)基于图神经网络的视觉关系检测算法实现研究。本文提出将图方法应用于视觉关系组成的场景图分析任务中。为了获得图像的结构化表示,在本次研究工作中,分别设计了外部知识指导和网络学习的方法构建关系图结构,有效减少了图像中对象之间平方数量级的候选关系。图节点结合了视觉和语言信息,使用对象视觉特征和类别词向量嵌入进行表示。在图信息传播过程中加入了多头注意力机制,使得图神经网络能够选择性捕获节点的上下文信息。在视觉关系预测阶段,将短语视觉特征和图节点融合进行关系类型预测。最后,我们在Visual Genome关系数据集上验证本文提出的算法。与最新技术方法MOTIFNET相比,基于注意力机制的视觉关系检测算法取得了竞争性结果。它在场景分类任务上相较于MOTIFNET提高了 3.1%。对比本文设定的基线方法,该算法的平均相对增益提高了 9.6%。基于图神经网络的视觉关系检测算法为未来视觉关系检测任务提出了一个更加通用且有效的网络框架。