随着深度学习与人工智能技术的不断发展,人体行为识别技术得到了越来越多的关注,其广泛应用于人机交互、无人商店、安防监控、病人护理、虚拟现实等领域。行为识别的目标是从场景中的视频图像序列中对人体动作进行理解分析,准确高效显得尤为关键。因深度传感器可有效的避免受到光照、遮挡,环境变化等因素的影响,基于骨骼数据的行为识别方法在模式识别领域成为了热门研究方向。在近几年的研究中,将人体姿态建模为时空图结构的图卷积网络（GCN）取得了优越的性能,但现有的方法中依然存在着问题,研究视频中人与物体交互的行为识别课题尚未取得突破。对于场景中存在人与物交互的动作相互错分概率较高,识别准确率低,影响了算法整体性能。人与物交互行为识别问题有待解决,并有着重要的研究价值。因此本文针对上述方法的不足展开研究,主要研究工作如下:（1）本文为解决人与物交互行为识别存在的问题,首先通过构建交互检测网络用来判断动作是否存在交互情况。因现有数据集缺乏除人体之外的可用信息,本文对存在交互的动作类,使用labelimg标注工具以及Siam RPN算法来准确获取动作数据集中人与物体的空间位置,用于交互检测网络的建模以及后续工作的展开。然后再利用人与物体相对关系编码进行特征表示,用于网络建模后位置特征的提取。最后通过网络调参以及人与物时空位置特征的学习来判断动作是否存在交互,这方便了后面研究人与物交互行为识别问题。该方法在现有数据集NTU RGB+D 60上进行测试,判断交互情况取得了 78%的平均准确率。（2）文本为解决筛选出的交互动作类存在的错分问题,基于GCN人体行为识别的研究基础上,针对人与物动作交互问题考虑多特征信息互补,提出了一种多模态深度融合的人与物交互行为识别方法。多种特征之间的联系难以挖掘,对视频中人与物存在交互的动作,此时利用场景中交互物RGB信息,人、物时空关系等对信息进行有效补充从而达到动作分类。在构建网络阶段,选取动作场景中RGB信息进行预处理,深度网络能提取有效的人与物像素轮廓特征,该信息作为补充完成最终动作识别。本文同时考虑交互过程中人、物时空变化关系,通过改变深度网络结构与特征编码方式,加入人、物时空特征信息建模来进一步对场景中动作信息进行有效补充。通过模型调优,最终利用特征间的潜在互补关系使用多模态深度融合策略进行模型融合达到交互行为分类效果的提升。在现有大型骨骼动作数据集NTU RGB+D 60上进行实验与分析,与现有算法进行对比,本论文提出的多模态人与物交互行为识别深度融合方法识别准确率有所提高,证明了本文方法的有效性。