人机交互在现代生活中扮演着重要角色,如何让人们更简单、高效、自然的与计算机交互,是一个重要研究课题和方向。手势作为最自然的肢体语言之一,随着计算机视觉技术的发展,手势识别成为人机交互领域中的关键技术。但实际应用中,周围环境及各种复杂背景的影响给手势识别带来巨大的挑战,复杂背景下如何准确地实现手势的识别成为目前研究的重点。目前复杂背景下的识别算法,主要利用肤色和深度图进行手势检测,基于肤色的检测方法容易受光照、类肤色背景等其他因素干扰,鲁棒性较差;而深度图像需要特定的图像采集设备,具有严重的局限性。由于不能准确的从背景中提取手势区域,导致复杂背景下手势识别率较差。本文基于深度学习提出一种手势识别算法HGDR-Net,该算法首先基于YOLO进行手势检测,然后构建卷积神经网络(CNN)进行识别,一定程度上解决了因手势检测不准而导致识别效果差的问题,提升了复杂背景下手势识别率。本文所做的主要工作内容如下:(1)在手势检测阶段,针对复杂背景下手势区域提取困难的问题,提出一种基于改进YOLO的手势检测算法。该算法针对YOLO对小物体检测效果差、定位准确度不高的问题,结合手势特点对YOLO中的卷积层和卷积核进行改进,同时,将模型中低层次与高层次特征进行融合,为最终预测提供更多位置信息,提升手势检测精确度和定位准确度。(2)在手势区域识别阶段,应用反卷积操作对卷积特征图进行可视化指导构建高效CNN模型,由于通过检测提取的手势区域具有尺寸多样性,而用于分类的CNN要求输入图像尺寸必须一致,本文引入空间金字塔池化(SPP),用其代替卷积网络最后一层池化层,解决CNN多尺度输入问题,进一步提升了本文算法的手势识别性能。(3)为充分训练网络模型防止过拟合问题,应用线下数据增强技术增加了训练数据的多样性和复杂程度,但大量的线下数据增强使得训练时间延长,为此本文在训练过程中对训练图像进行线上数据增强,最后联合两种数据增强方法,极大的提升网络训练效率、进一步增强了模型的泛化能力。在NUS-II和Marcel两种包含复杂背景的数据集上进行实验,本文算法分别达到98.65%和99.59%的识别率。最后与其他手势识别算法进行对比,结果表明本文算法能准确地从各种复杂背景中识别手势,具有更高的识别准确率和更强的鲁棒性。