在自然场景理解中,视觉关系检测(Visual Relationship Detection,VRD)是机器理解图像的一个重要的任务,它旨在检测图像中的对象并识别对象间的关系(如人骑着马,杯子在桌上)。图像中往往包含很多的对象以及复杂繁多的对象之间的关系,然而,从人的角度观察,我们通常会关注一些重要的对象和关系,而忽略一些不重要或者次要的信息。现有的视觉关系检测方法对图像中的所有对象和关系没有区分重要性,导致在复杂的真实图像中检测效果差。另外,由于视觉关系呈长尾分布,即大部分关系在数据集中数据量很少甚至没有,因此模型需要具有少样本或者零样本的学习能力。为了解决这些问题,本文提出了一个基于注意力机制的多模态视觉关系检测模型(Attention based Visual Relationship Detection,AVR),模型通过融合视觉,空间和语义特征检测图像中的视觉关系,并基于注意力机制识别对象和关系的重要性。对对象或者关系的注意力越大,表明其在图像中就越重要。对象和关系的注意力将用来增强视觉关系检测,以提高模型检测关系的召回率。另外,本文基于对象间的语义相似性,利用图随机游走算法得到视觉关系的先验分布。关系的先验将用来调整模型的关系预测输出,以提升关系预测的准确率,并提高模型少样本的学习能力。为了能够更好地挖掘模型的关系预测概率,对象和关系的注意力,以及关系先验等变量之间的联系和依赖,本文提出了基于遗传编程算法的启发式学习框架,并应用于视觉关系检测任务,来自动化的进化学习出好的启发式规则结合这些变量,从而得到更好的视觉关系检测结果,进一步提高模型的召回率。通过在几个真实数据集上的综合实验,本文提出的模型在视觉关系检测任务中的表现优于最新的视觉关系检测方法,其中关系和对象的注意力极大地提高了关系检测任务的召回率。同时,基于随机游走的关系先验知识也有效地提高了关系预测的准确率。另外,通过启发式学习框架进化学习到的启发式规则,很好地结合了关系预测,对象和关系的注意力,以及关系先验等因素,进一步提升了模型的召回率。