随着机器人的应用越来越广泛,人机交互一直是目前热门的研究领域。人和机器一般通过语音、姿态、脑电波追踪和视觉传感等方式进行交流,其中,人体手势作为姿态的一种能给机器传递丰富的信息。然而,手势具有的多样性、复杂性以及运动过程中时间和空间上的差异性,使手势在识别的问题上存在一定困难。传统的识别方式要借助可穿戴设备,并利用各种传感器进行定位和识别,存在代价大、受外部影响大和识别不准等缺陷。基于深度学习的识别方法能大大改善这些缺陷。本文研究了卷积神经网络对手势分类识别的算法原理,并通过构建双流卷积神经网络完成了动态手势的识别,具体内容如下:首先,根据LeNet-5网络设计了一套卷积神经网络模型,利用自行拍摄的手势数据集对神经网络模型进行训练。通过设计对比实验,确定网络层数、输入尺寸与卷积核尺寸等参数。以识别精度和训练时间为准则,搭建最佳的网络模型来完成静态手势的识别任务,并设计了两种误差处理方案进一步提高网络的识别准确率。然后,利用光流法完成视频中运动手势动态特征的提取,并额外搭建一套卷积神经网络,利用包含手势运动时间维信息的光流图对该神经网络模型进行训练。将两套卷积神经网络并行连接,构成一个双流卷积神经网络,同时提取手势运动视频中时间和空间维度的信息,完成对手势运动行为的识别。结果表明,分两路识别的方式比用单独一个卷积神经网络识别要更加准确。最后,本文设计和实现了一个手势识别软件,将训练完成的卷积神经网络模型运用到软件设计中,利用指定摄像头进行数据采集,通过图像化界面对数据进行操作,并对识别结果加以展示,以可视化的形式完成对手势运动行为的识别。