人体姿势估计与动作识别是体感人机交互领域的一个重要研究方向,传统的体感交互方法主要依赖深度传感器进行姿势估计和获取人体关节点信息,然后利用机器学习方法进行动作识别,识别结果受模板库影响较大。随着深度学习在人体动作行为分析领域的发展,深度学习的方法能够自动从图像中学习特征,计算人体三维关节点信息并进行动作识别,与传统方法相比,准确率更高并且鲁棒性更强。目前可用于深度学习的体感交互动作数据集较少,大多数研究都是从公共数据集中选择具体的动作或是建立自己的数据集,从而导致将深度学习方法运用在体感交互领域的研究还较少。本文针对体感人机交互中的姿势估计与动作识别问题,开展基于深度学习的体感人机交互研究,主要研究内容如下:（1）在基于动作识别的动作数据集的研究基础上,针对现有的体感交互动作数据集缺失的问题,建立了公开交互动作数据集（IA RGB-D）（已在公开网站上发布）。使用多种最新的神经网络对其进行实验测试,验证了该数据集的正确性和有效性。并且其他用户可以根据自身的需求,扩展该数据集的动作种类或采集单个动作数据用于研究,具有一定的普适性,能够有效地促进深度学习方法在体感人机交互领域的研究;（2）在基于人机交互的姿势估计的研究基础上,针对使用深度传感器增加了人机交互成本的问题,提出了基于ECA的双分支孪生监督网络,该网络能够直接从普通摄像头采集的视频中估计人体3D姿势骨骼关节点。与基于深度传感器的方法进行对比实验,结果表明两种方法采集的数据用于动作识别的结果接近,验证了使用神经网络的方法取代深度传感器的可行性,减少人机交互的成本,但是受限于开发平台,时间效率相比于传统深度传感器方法较差;（3）在基于人机交互的动作识别的研究基础上,针对传统手工特征提取方法准确率较差的问题,提出了基于注意力的位移图神经网络（ASGCN）,通过将高效通道注意力模块与Shift-GCN结合,增强其提取通道特征的能力。实验结果表明在本文提出的交互动作数据集上的识别准确率高于多数神经网络,在实时性方面,与传统的交互动作算法对比,ASGCN网络不仅可以处理传感器实时采集的数据,而且拥有更高的准确率,时间效率控制在可接受范围内;（4）在基于体感交互的人机交互应用的研究基础上。利用本文所提出的ASGCN构建了一个虚拟垃圾回收机器人控制系统,在服务器端利用训练好的网络进行动作识别,客户端负责采集人体动作数据和机器人控制等。该系统能让用户在体验体感交互乐趣的同时,加强环保意识的培养,养成垃圾回收的习惯。