随着计算机的普及和发展,人机交互技术已经成为人们日常生活中不可或缺的一部分。无需可穿戴设备的手势交互方式因其自然、便捷的操作,已经成为一种新兴的人机交互方式,可以广泛应用在游戏制作、医疗器械操作和多媒体设备操控等场景中。因此近年来随着深度学习技术的成熟,基于计算机视觉的手势识别技术成为了人机交互中一个炙手可热的研究领域。许多研究为了探究准确性更高的卷积神经网络,单纯地从离线测试的角度进行网络结构设计,加大网络规模与计算量,而忽略了在移动平台部署系统的可行性。此外在实际应用场景下,如何处理不断输入的视频流,在保证系统实时性的前提下进行在线检测与识别也一定程度上加大了手势识别的难度。针对以上不足和难点,本论文以保证系统实时性与部署的可行性为前提,构建了更加贴近实际人机交互场景的动态手势数据集101Gesture,设计了轻量级动态手势检测网络以及识别网络,实现了完整的实时动态手势识别系统。本论文的主要工作以及创新研究成果如下:1.构建了动态手势数据集101Gesture。针对动态手势识别的难点以及现有数据集的不足,本文从实际应用场景出发,构建了更加贴近实际人机交互场景,动作实例长度多样性更加丰富的手势数据集101Gesture,并通过不同数据集的比较,说明该数据集的优势与特点。2.设计了轻量级手势检测网络MotionNet及识别网络ActionNet。从轻量级手势识别的角度出发,手势检测网络利用RGB图像中的空间信息以及差分图像中的时序运动信息,在不断输入的视频流中进行手势实例检测。手势识别网络利用多层次、多尺度的特征融合,使其能够适应实际场景中动作的时间尺度的不一致性,保证网络的准确度和鲁棒性,进行手势分类。3.设计了完整的实时动态手势识别系统。从实际应用场景出发,基于轻量级网络Mo-tionNet与ActionNet,结合了缓冲队列机制,分别设计了手势检测器与手势分类器,并将其串联后通过滤波器后处理进行输出。该方法将检测器作为分类器的“开关”,可以使卷积神经网络能够通过使用滑动窗口的方法有效地在线运行,并最大程度地节约计算资源以及存储资源。