社会关系作为我们日常生活中的基本关系,是人类社会特有的现象,随着各类社会媒体的发展,社会关系有了更加直观的表现形式,识别图像视频数据中的社会关系,对分析社会行为来说至关重要。然而,面对如此海量的图像视频数据,如何高效地对复杂场景中的特征和交互信息进行形象化的描述,进而准确地识别社会关系,仍然是一个具有重大挑战性的任务。现有的社会关系识别方法虽然能够识别出场景中的社会关系,但是仍然存在一定的局限性。社会关系识别模型多数局限于人物的外观信息,忽略了全局场景特征;复杂多变的社会场景中充满着丰富的语境对象信息,模型难以准确地找到关键的语境特征信息来对社会关系进行表征;场景中人与语境对象之间的交互信息可以促进社会关系识别,但是当前研究缺少合适的方法来探索这种交互。为此,本文从社会关系识别的人物外观基本特征出发,结合卷积神经网络与各类注意力机制来挖掘全局背景特征和场景中的关键语境对象信息,并引入长短期记忆网络来提取视频中的时序信息,最后通过图卷积网络来探究场景语境之间的信息交互,分别从图像和视频两种多媒体数据来进行社会关系识别的研究。针对以上的问题,本文的主要工作如下:（1）针对现有方法难以提取场景中关键的语境对象特征,导致场景中复杂的人物关系难以表示,本文提出了一个基于注视感知图卷积网络的社会关系识别模型。模型设计了一个注视感知图卷积网络,通过发现具有注视感知注意力的语境对象来学习关系图中的人物交互。此外,该模型还设计了一个多特征融合模块,引入了距离感知图分支和场景特征分支,自适应地学习社会关系表示。（2）针对视频数据中存在大量难以挖掘的时空信息和语境对象交互信息,为了更加准确地对视频中的社会关系特征进行表示,本文提出了一个基于多尺度图推理网络的视频社会关系识别模型。首先,利用长短期记忆网络来提取视频中的时序信息。其次,该模型设计了一个多尺度图卷积模块,使用不同的时间感受野来学习视频中的长期和短期信息,然后通过图卷积网络来探索视频中人与语境对象之间的信息交互。最后,该模型引入了一种空间注意力机制,通过减少视频中的冗余信息的干扰来提高社会关系识别的性能。（3）本文提出了两个深度学习模型分别来研究图像和视频中的社会关系识别问题,在多个公开数据集上的实验结果表明,本文提出的模型达到了先进的识别准确率。