从图像中识别人物之间的社会关系,可以使计算机系统更好地理解人类行为或情感。然而,由于视觉特征和社会关系之间存在巨大的语义差异,自动识别图像中人物的社会关系具有很大挑战。现有研究通常单独利用人物面部属性、身体外观或场景物体等特征,建立视觉特征与社会关系的关联,难以有效解决语义差异。因此,本文提出了一种基于图像场景语义与人物姿态的多粒度推理框架。此框架可以全面捕捉场景知识、人与人及人与物体之间的动作交互等多粒度信息,通过融合多种特征,综合地建模视觉特征与社会关系之间的关联,从而实现社会关系的准确识别。首先,此框架从图像中的整体场景获得全局特征,从人和物体的区域中,获得局部特征。然后,创新地利用人的姿态信息,构建了由姿势引导的人物-物体图和人物-姿态图,分别建模人与物体之间、人与人之间的交互关系。在两种图模型的基础上,通过图卷积网络挖掘视觉特征与社会关系的关联模型。最后,集成全局特征和局部特征,得到最终的社会关系识别结果。本文在两个公共数据集上验证了所提出框架的有效性。基于多粒度推理框架,本文设计了一个社会关系识别系统,包括Web服务系统及Web应用。其中,Web服务系统可以灵活地接收各类网络应用请求,提供在线的社会关系识别服务。在此基础上,本文设计并实现了一个基于人物社会关系的智能相册原型应用,此应用可将人物照片细分为情侣相册、家庭相册等。通过测试,此系统取得了良好的识别结果。