场景语义理解是计算机视觉领域的重点问题之一,它是计算机通过模拟人类视觉功能感知真实世界的主要工具。随着深度学习在计算机视觉领域的广泛应用,物体检测、实例分割等问题取得了重大突破,但图像描述、视觉问答(VQA)等高层场景语义理解任务仍需进一步探索与研究。场景图作为图像的语义描述,已经在许多任务上体现了对高层场景语义理解任务的促进作用,经过研究者们不断的努力,场景图生成任务也已经取得了快速发展。但在真实世界中,复杂的视觉信息依然给目前的场景图生成方法带来了很多挑战,例如场景中物体之间的关联性如何利用,数据集中难以标注真实场景中所有物体间存在的关系,这些问题都限制了场景图生成方法在真实场景中的性能。目前场景图生成任务主要有两大难点,其一在于如何利用图像中物体及其关系的上下文信息,另一大难点则在于如何应对数据集标注困难导致的数据偏差问题。针对图像中物体及其关系的上下文信息利用问题,本文提出一种基于上下文的场景图生成方法,该方法通过融合物体位置信息、语义信息与视觉特征获得全面的物体表示,并利用双向的长短时记忆网络(Bi-LSTM)编码上下文信息以及条件随机场(CRF)建模的结构化预测方法来提高场景图生成的精度。针对数据集关系样本标注困难的问题,本文提出一种零样本的关系预测方法,通过记忆网络和物体类别的层级语义信息来指导不可见关系类别的预测,从而摆脱数据集对场景图生成方法的限制。