手势是一种自然、直观且易于学习的人机交互手段。作为感知用户界面的一个重要组成部分,手势识别的核心问题是如何让计算机能够从输入信息中准确识别出用户的手势动作。基于表面肌电的人机界面凭借其良好的可穿戴性、对光照条件和遮挡的鲁棒性以及对细微动作较强的区分能力,成为感知用户界面领域的研究热点之一。随着人们对感知用户界面的精确性要求越来越高,深度学习方法在基于表面肌电的手势识别系统中得到了广泛应用,但依然面临以下问题:首先,相关研究表明,每个手势中只有一部分前臂肌群起到主导作用,且不同手势与前臂不同肌群的肌电信号之间具有较强关联性;其次,深度学习方法在基于高密度肌电信号的手势识别中普遍具有较高的性能,而在基于稀疏多通道肌电信号的手势识别中性能依然难以令人满意;最后,来自不同被试或采集会话的肌电信号之间存在个体差异,这种个体差异会导致手势识别中的训练数据和测试数据具有不同分布,使得从当前个体学习获得的分类器模型,难以有效扩展和应用到其他个体。本文重点在深度学习框架下围绕上述问题进行探索和尝试,主要研究内容包括:1).基于手势动作与肌群产生的肌电信号的关联性假设,提出一种面向肌电手势识别的多流融合深度学习方法,对前臂肌电信号生成的肌电图像进行多流表征,将得到的多个子图像分别输入多流卷积神经网络各个分支中进行建模,之后通过特征层多流融合,把多个分支学习到的深度特征融合在一起。在不同肌电数据集上的结果表明,在多流融合深度学习框架下对前臂不同肌群的肌电信号进行关联性建模,可以有效提高肌电手势识别的准确率。2).尝试在基于稀疏多通道肌电信号的手势识别中采用多视图学习方法以获得更高的手势识别性能。提出一种面向肌电手势识别的多视图深度学习方法,从稀疏多通道肌电信号中提取多个经典特征集构建为肌电信号不同视图的数据,然后通过一个深度学习框架下的视图选择过程,选取具有较优手势识别性能的视图,将其数据输入多视图卷积神经网络中进行建模。相比单视图学习,多视图学习可以充分利用原始数据多个视图下的信息,从而带来性能的提升。3).将会话间或被试间手势识别时肌电信号个体差异导致的训练数据和测试数据不同分布问题视为一个领域自适应问题,其中训练数据和测试数据分别属于不同的源域和目标域。尝试通过少量标定数据进行领域自适应,使得训练好的深度神经网络模型可以有效地扩展和应用到新用户或新会话。