人体行为理解是服务机器人提供智能服务的基础,人体行为不仅与人体动作有关,还与人体当前所处环境以及动作所交互的物体有关,要达到行为理解的目的就要结合人体动作和交互物体,即实现人-物交互的检测。近几年来,物体检测方面的研究已取得较大突破,而动作检测研究则大多在简单的实验室环境下进行,这些研究仅对人体动作的分类进行预测,将人体动作与交互物体结合进行行为理解的研究则很少。然而简单的将现有的目标检测方法和人体动作检测方法结合在一起是无法实现真实环境下的人-物交互检测,因此本文对复杂环境下的人-物交互检测进行研究,并且考虑到真实情况下存在人体同时进行多种动作的情形,提出能够在复杂环境下有效识别多类别动作并准确识别动作所交互的物体的人-物交互检测方法。由于将图片中的人和物体的分类与位置准确检测出来是人-物交互检测的基础,因此本文首先对目标检测算法进行研究,设计了基于注意力机制的快速目标检测模型,该模型为两阶段目标检测模型,首先使用注意力机制生成区分前景和后景的热度图,并利用热度图对锚框进行快速筛选获得候选区域,然后对候选区域进行分类和边框回归。最后模型使用改良的极大抑制值算法对重叠的边框进行删减与合并,使得边框所包含的物体更加完整,有利于人-物交互检测时的空间特征提取。本文使用该模型在COCO数据集上进行了实验,模型的平均精确率的均值为38.9%,略低于Faster-RCNN模型,但检测用时与其相比减少了约24%,实时性更好。针对复杂环境下的人-物交互检测问题,本文提出了基于语义关系的人-物交互检测模型,该模型为了解决多类别动作识别问题,将所有的人和物体两两配对,对每个人-物对依次进行人-物交互检测,并且利用人体动作与背景之间的语义关联,在人-物交互检测过程中创新性地利用语义特征结合视觉特征和空间特征对人体动作进行预测,并预测该人-物对的交互得分,最终实现人-物交互检测。本文使用该模型在V-COCO数据集上进行实验,实验结果表明该模型相比仅凭视觉特征进行人-物交互检测的模型更加优秀,并且能有效的识别同一主体的多种动作。接下来本文对人-物交互检测进行进一步研究,使用图卷积对人和物体的视觉特征进行处理,提取人和物体之间的上下文信息,将基于图卷积的人-物交互检测模型在V-COCO数据集上进行实验,实验结果表明与基于语义分支的人-物交互检测模型相比,图卷积分支和语义分支在不同的动作检测上各有优势。然后本文将两个模型进行融合,提出了基于图卷积和语义关系的人-物交互检测模型,模型在V-COCO数据集上的实验结果表明该模型有效的结合了两种模型的优点,取得了更好的人-物交互检测结果。最后本文用“人-动作-物体”的三元组方式对人-物交互检测结果进行描述。