理解人的行为活动是机器人与人进行智能化交互的前提条件。随着深度学习技术的快速发展,使基于视觉的人体活动研究日渐成熟。有些领域的发展水平已经满足了实际需求,例如人脸识别与指纹识别。而有些领域的发展水平还相对欠缺,例如人体姿态估计与行为识别。在人与机器人交互过程中,人体姿态是重要的信息来源,能很好地描述人体的运动姿态与动作,对理解人的行为有重要作用。而行为识别是更高语义的视觉任务,为机器人与人的交互提供决策依据,使机器人更好地为人类提供服务。为此,本文就针对3D人体姿态估计和基于人体骨架的行为识别的相关理论、技术及其在人-机器人交互上的应用展开研究。主要研究内容如下:提出了一种基于时空图注意力卷积网络的单目3D人体姿态估计方法。采用图注意力卷积网络编码人体骨架的运动学特征、对称关系和全局姿态语义,以重建出更合理的三维空间结构,利用时间卷积网络捕获姿态序列的时间依赖性,以生成更平滑的动作,并在结构设计上灵活地利用了时间卷积网络前向推理的特点。实验结果表明,提出的方法不仅有效缓解了3D人体姿态重建中存在的深度模糊性和自我遮挡的问题,还泛化近距离人机交互场景中的半身姿态估计,并在Human3.6M、Human Eva和MPI-INF-3DHP数据集上取得了良好的结果。提出了一种多骨架特征前期融合的在线行为识别方法。通过前期嵌入层融合四种类型的输入特征,提高模型应对不同场景的泛化能力,同时避免增加过大的计算量,并结合最大池化和层次图池化操作提取骨架空间的多语义信息。根据日常行为的数据特点设计有效的骨架序列选取方式,并制作了一个含有17个关节点的3D人体骨架数据集NTU120-GAST,以兼容本文提出的3D人体姿态估计方法实现在线的行为识别。实验结果表明,提出的方法在NTU60和NTU120数据集上取得了较高识别准确率的同时需要更少的浮点计算量,能够有效地用于在线识别。构建了一个由数据采集、行人检测与跟踪、姿态估计和行为识别等四个功能模块组成的人体姿态估计与行为识别系统,整合了上述提出的算法。该系统能够实现实时可视化3D人体姿态重建的渲染效果,同时基于人体骨架数据实现在线的单人动作识别和双人交互行为识别。