传统的人机交互方式即将逐步被新型人机交互方式取代,其中,基于手势的机器人交互方式已经成为当前的热点研究内容之一,本文所设计的机器人手势交互应用系统,重点研究基于视频的手势指令,用于智能服务机器人根据人的手势理解进行服务的应用场景。系统采用客户端与服务器端的分布式设计方案,通过客户端实时显示用户的手势指令,提升机器人系统不同场景的自适应应用性能。本文提出的机器人手势交互应用系统采用客户端/服务器端的分布式设计模式,其中,客户端程序负责获取实时视频流,并对视频流进行分析和处理,提取出手势指令数据同步给服务器端。服务器端程序负责对手势指令数据进行识别,并将识别结果返回给客户端。客户端手势指令数据采集模块采用双通道卷积神经网络进行静态手势识别,识别出含有手势指令的连续视频帧。双通道卷积神经网络采用两个不同尺寸的卷积核的设计,分别进行卷积、池化和全连接操作,并采用后期融合的特征融合策略。双尺寸卷积核的设计使得该网络能够提取图像中不同粒度的特征,提高了静态手势的识别准确率。服务器端手势指令数据识别模块采用时间分割双流卷积神经网络进行手势指令识别。时间分割双流卷积神经网络将手势指令数据切割成K段,并且对每段剪切进行稀疏采样成一个短序列,利用Lucas-Kanada算法对每个短序列进行光流特征的提取操作。该网络的训练采用了数据增强和多种预训练技术,有效的缓解了神经网络训练过程中的过拟合现象。相比较传统的双流卷积神经网络,时间分割双流卷积神经网络避免了视频中的长时间信息在特征学习过程中被丢失,有效的提高了识别准确率。该系统算法在项目组的政务服务机器人系统中进行了实验尝试,可以通过手势控制机器人的动作,测试结果达到了系统预期的设计要求。