随着人工智能及VR技术的蓬勃发展,手势识别在人机交互过程中发挥着越来越重要的作用。其中,基于视觉的手势识别在人机交互系统的应用中最为常见,但基于视觉的手势识别易受外界环境等因素的干扰,从而降低了手势识别效果。鉴于此,本文主要研究的是将视觉、表面肌电以及数据手套等多种不同传感器采集的手势特征进行融合,从而提高人机交互时的手势识别的鲁棒性和识别率。本文具体的研究工作和创新点如下:(1)研究了基于视觉的静态手势识别方法。首先通过深度神经网络提取手势图像中手部的21个关键点的三维坐标特征,然后根据提取特征的相对位置构建手势骨架,最后使用所提出的几何模板匹配法对构建的手势骨架进行匹配分类。并通过在线手势识别对该方法在人机交互中的鲁棒性进行了研究。(2)研究了基于表面肌电信号的动态手势识别方法。首先利用MYO腕带采集手势数据建立数据库。然后对数据库中的样本分别进行滤波并采用积分肌电值的方法提取特征。最后,用提取的表面肌电信号特征对LDA分类器进行训练,实现了精确而快速的在线动态手势识别。(3)研究了基于VR数据手套和上肢节点的动态手势识别方法。使用基于IMU的动作捕捉系统捕获运动手势的四元数后,对该四元数信号采用所提出的数学逻辑运算提取每根手指的弯曲度特征。之后将单指关节角度二值化(即0和1)处理,并定义不同手势特征,将提取的每根手指弯曲度特征根据该定义好的手势特征的逻辑进行分类,从而实现精确而快速的动态手势识别。该方法不仅在实际的人机交互中的鲁棒性高于前两种方法,还验证了 IMU获取的肢体空间位姿的可靠性。(4)研究了基于表面肌电信号与图像特征融合的手势识别方法。首先采用MYO腕带和摄像头采集肢体的表面肌电信号(SEMG)和RGB图像并建立数据库。然后对数据库中的样本分别采用滤波、积分和深度神经网络提取SEMG信号特征和图像特征,并对提取的特征进行融合。最后,将融合后的特征用LDA分类器进行分类识别。该方法不仅可以提高手势识别率,还验证了图像信息和SENG信息融合的互补性。(5)研究了基于表面肌电信号与惯性信号特征融合的手势识别方法。首先采用MYO腕带采集的手势SEMG和IMU信号建立中文手语手势数据库。然后对数据库中SEMG和IMU信号分别进行滤波,并采用均方根(RMS)的方法提取SEMG的特征。最后,将SEMG信号与IMU信号特征进行融合,并将融合后的特征采用BiLSTM+CTC进行端到端的分类识别。该方法不仅避免了因手势信息分割不精确而导致的手势识别率下降的问题,还验证了 SEMG信号与IMU信号融合的互补性。