场景语义图是一种包含图像主体信息的一种图结构,在场景语义图中,不但可以包含物体、物体间关系的信息,还可以包含物体的属性信息,甚至可以包含区域字幕的信息。由于场景语义图是图结构,与普通图像相比,不但可以在保留图像主体信息的同时大幅度降低存储开销,并且对于计算机来说图结构会更加利于语义相关任务的检索。当前现有的研究主要关注于包含物体和物体间关系这两个层次的场景语义图的生成,并且生成场景语义图的数据源仅限于单张图像。本文的研究目标有两个:1、将属性识别纳入到了场景语义图生成网络中;2、将单张图像生成场景语义图的网络模型拓展到了序列图像上。在图像生成场景语义图的任务中,本文扩展了图像生成场景语义图生成网络包含的语义层次,将属性识别纳入到了场景语义图生成网络中。本文以VGG-16为基础模型,使用常见的RPN和多分类器方法进行物体识别,使用多分类器预测每个关系中的谓词,然后使用了基于GRU的方法对每个物体具有的多个属性进行预测,使模型最终生成包含物体、物体间关系和物体自身属性在内的三个语义层次的场景语义图。此外,本文还通过对不同语义层次的特征进行融合提炼的方式提高了每个任务的性能,使生成的场景语义图准确度更高。本文还与多种现有方法在单张图像生成场景语义图的子任务上分别进行了比较,本文提出的方法在每个任务上均有较好的效果,与其他方法相比均有提升。本文还进一步对属性识别任务进行了详细的烧蚀分析,说明本文使用的多种特征组合和特征融合提炼方法在属性识别上的有效性。在序列图像生成场景语义图的任务中,本文在第一部分中提出的单张图像生成场景语义图网络的基础上进行了进一步的扩展,将图像序列整体作为网络的输入,使用基于光流网络的方法对物体候选框进行跟踪,解决了不同帧中属于同一个物体的候选框的映射的问题,还设计了基于消息传递和自编码器的两种不同的帧间特征融合提炼方式,使用不同帧中不同视角下的信息对每个任务使用的特征进行融合提炼,提高序列图像生成场景语义图任务中的性能。在测试分析中,本文对帧内和帧间特征融合提炼的作用进行了详细的对比分析,通过组合帧内和帧间特征融合提炼的方式得到了四个模型变体,并进行了训练和测试,不但说明了帧内特征融合提炼对每个任务的提升作用,并且说明了序列图像可以使用不同帧中不同视角的信息来进一步提高模型的性能。此外,在综合考虑召回率和准确率的情况下,通过对比分析得到基于自编码器的特征融合提炼方法比消息传递的方法性能更高的结论。