在5G互联网时代,手势作为一种更符合人们交流习惯的方式,已经被广泛应用于虚拟现实、增强现实、智能家居等各种人机交互场景中。近年来,计算机视觉领域的研究成果和深度学习的快速发展为基于手势的人机交互方法提供了一种新的解决方案。本文主要对人机交互中的手势分割与动态手势识别方法进行深入的研究。本文主要工作如下:1.提出了一种基于通道注意机制的手势分割方法。针对经典手势分割模型HGR-Net分割结果中存在的类内不一致问题,在HGR-Net基础上构建了一个多尺度卷积残差网络。引入上下文信息增强模块,并进一步改进模块中的通道注意块。在OUHANDS数据集上验证该方法,实验结果表明,本文方法能够在解决类内不一致问题的同时,保证手势区域的完整性,其mIoU和MPA值较HGR-Net模型分别提高了 5.0和4.8个百分点。2.提出了一种基于领域自适应的手势分割方法。针对基于通道注意机制的手势分割模型泛化能力弱的问题,在OUHANDS数据集的基础上,构建了一个扩展数据集,增加样本多样性。然后,在该模型基础上引入基于风格迁移的数据重构模块,并提出了一个基于图像光照情况和内容复杂度的自适应参数调整方法。使用非训练集样本验证该方法,实验结果表明,本文方法能将mIoU和MPA值分别提高19%和23%,可以大幅度提升模型的泛化能力。3.提出了一个两阶段的动态手势识别网络模型。第一阶段网络为基于自适应图卷积的关键点估计网络,从RGB图像中提取手势三维关键点。第二阶段网络为基于关键点多特征的动态手势识别网络,依据连续帧关键点的联合集合距离特征和双尺度运动特征进行动态手势识别。在FHAD数据集上验证该方法,实验结果表明,本文方法提取的关键点三维坐标的3DPCK最大值为23mm,是H+O模型的四分之一左右,且打开、关闭、倒、放四种动作的平均识别准确率为84.85%。本文的两阶段网络为动态手势识别方法提供了一种新思路。