人与物体交互关系检测是计算机视觉领域的重要研究方向之一,是使机器人更深入地理解物理世界的重要一步。不同于物体检测、人体姿态检测、场景分割这些只对场景中物体进行独立检测分割的视觉任务,人与物体交互关系检测是进一步推断出场景中某人与某物体之间可能存在的交互关系,具体就是要在定位存在交互关系的人以及物体的同时推断出其交互动作类别。人与物体交互关系检测在人机交互、服务机器人、视频安全监控等多个领域有重要研究意义。近年来,随着深度学习再次兴起,计算机视觉领域在多个方向取得了前所未有的快速发展,但人与物体交互关系检测的相关研究仍相对发展缓慢。过去很多科研人员设计了多种基于多通道架构的神经网络,通过融合视觉、空间、人体姿态等多种特征进行某人与某物之间交互关系的推断,但忽略了场景中“上下文信息”,也就是场景中其他物体对的关系在推理某物体对时能提供有效的信息。此外,研究发现更精细的特征（如人体姿态信息）能进一步促进人与物体交互关系检测,但多种特征的引入导致现有的神经网络模型更为复杂。为了解决这两个问题,本文的主要研究内容如下:采用合适的算法从原生数据（图片）中提取并构造多种特征用以神经网络的输入并训练。提出基于物体视觉特征、物体间空间特征以及物体类别语义特征输入的视觉-语义图注意力神经网络。通过设计两个平行的图注意力神经网络分别处理视觉空间特征以及语义特征,隐性地学习利用场景中丰富的主次要物体对关系以及交互关系本身固有的语义规律促进人与物体交互关系的检测。大量实验表明,该模型在两个共用数据集取得了很好的检测结果。为了进一步引入人体姿态信息,基于视觉-语义图注意力神经网络,通过构建绝对人体姿态特征以及相对空间姿态特征,设计了一个基于姿态特征输入的轻量级模块化神经网络促进人与物体交互关系的检测。实验结果证明了本文提出的两种姿态特征以及该模块网络的有效性,且可视化结果表明了该检测系统在相对密集场景下也有较好的检测效果。为了能在现实场景中检测人与物体的交互关系,基于Pytorch库现有的物体检测器以及人体姿态检测器,结合上述两个神经网络模型,构建一个基本满足在现实场景中实时检测并进行可视化的检测系统。