人们在日常生活中经常使用一些手势进行交流,通过手势识别来实现人机交互的技术可以很自然地应用于手语识别、车载设备控制、智能家居等方面,是未来人机自然交互的重点研究方向之一。但就交互而言,手势识别的实时性和准确性是关键。传统的手势识别研究已经进入瓶颈期,很难在实时性和准确性上更进一步,深度学习的快速发展为手势识别提供了一个新的研究方向。本文首先分析了手势识别的研究背景及研究意义,介绍了研究现状和发展趋势,然后对本文的主要研究内容和组织结构进行了说明;接着对传统手势识别方法和基于深度学习的手势识别方法中常用的技术做了简单介绍,并对比了这两种方法的优缺点,选择将基于深度学习的手势识别方法做为本文的研究重点;然后分析了YOLOv3算法在同类型算法中的优越性,选择基于YOLOv3算法实现手势识别;对目前主流的学习框架进行了简单介绍,选择使用Py Torch框架对手势识别算法进行开发,并对本文算法实现环境作了说明;接着研究了YOLOv3算法的网络结构和损失函数,介绍了相关的算法评价指标,并针对手势识别对YOLOv3算法提出了三点改进方案,为之后算法的改进奠定基础;接着说明了数据集对深度学习算法的重要性,通过对比现有的公开手势数据集,选择适合本文手势识别研究的NUS Hand Posture dataset-II手势数据集与自制的手势数据集进行融合,并通过数据增强的方法,创建了包含12600张复杂背景图片的融合手势数据集,通过实验验证了融合手势数据集的优越性;接着对Darknet-53网络结构进行了优化,说明了优化思想和优化方法,增加了一个下采样层和残差块,减少了部分残差块中残差单元的数量,减少了部分卷积层中卷积核的数量,并对优化后的网络结构进行了效果验证;然后对YOLOv3的预测输出层做了改进,对改进思想和改进方法做了说明,改变了输出尺度的大小和数量,改变了anchor box的数量并根据融合手势数据集重新聚类生成了新的参数,对改进后的预测输出层进行了效果验证。然后对本文提出的F-YOLOv3算法做了应用测试,平均手势识别速度为31ms,准确率为97.1%。测试结果表明本文基于YOLOv3改进的FYOLOv3手势识别算法具有较快的识别速度与较高的准确率。