场景图生成是一种可以被使用在智能监控、图像检索等应用领域的图像理解实现方法,其工作产物是一个以物体为顶点、以物体间关系为连接边的结构图。为了实现高精度的场景图生成方法,文章提出一种新的场景图生成模型,即SGiF(Scene Graph in Feature)。SGiF的提出解决了场景图生成模型Px2Graph中元素重叠程度严重以及其连接边生成置信度(confidence)不高的两个问题,同时还修复了由实验数据sVG所带来的模型过拟合问题。面对问题,SGiF所采取的具体解决方案如下:首先,SGiF使用多尺度特征图来检测场景图元素。通过将ResNet+FPN作为图像特征提取网络,SGiF不仅可以增加所能使用的感受野(特征图上数值所对应的原始图像区域)样本数量,还可以实现分层检测大小不同的场景图元素,以此降低重叠元素现象对场景图生成表现的影响。其次,SGiF以关系再调整的方式来修改低置信度连接边结果。在得知场景图结构的前提下,SGiF检索得到与低置信度连接边近似等价的连接通路,将该通路作为弱依赖于视觉特征的连接边调整模型的输入,以此得到可以用来修改与重写低置信度连接边的调整因子,从而确保最终场景图结果的正确性。最后,SGiF使用多个惩罚参数来防止分类模型过拟合现象发生。在得知sVG样本分布频率密度的情况下,SGiF设置多个数值与具体样本种类相关的惩罚参数,并将这些参数作为分类误差计算中的因数,以此平衡分类模型在各样本上的学习效率,防止模型过分拟合于部分样本,提高生成模型的可信度。为了验证SGiF解决方案的有效性,文章还有针对性地提出了验证分析实验。最终的实验结果分析表明,SGiF所提出的三项解决方案确实有助于对应问题的解决,且能在一定程度上提高SGiF在场景图生成任务上的表现。