随着科学的进步和发展,人与机器之间的联系越来越密切。在计算机的性能不断提升的情况下,人和计算机的人机交流会更加频繁。手势是人机交互的一种方式。手势识别是通过计算机分析每一个手势的具体含义,通过对手势的识别,可以得到人们传递的信息,从中得到的信息可以直观、智能做到人与计算机机之间的交互。研究者们对包括步态、手势、人脸、姿态等交互技术进行了广泛的研究。在这些交互方式中,使用手势交互比较自然,由于其方便、易上手和易于降低复杂度,在虚拟现实、游戏、医疗卫生等各类领域中越来越受欢迎,这引起了研究者们的极大关注。本文研究领域是在计算机视觉下,对手势识别的算法进行相应的研究,结合了深度学习技术和目标检测定位技术,在计算机视觉领域对不同的方法进行研究和改进,为了满足手势识别的需要,重点改善了手势识别的精度,在实时性检测速度上也有提升,最终可以让手势识别满足精度和速度的使用需求,本研究具有良好的应用价值。本文主要的研究工作如下:（1）首先对Faster RCNN的网络有一个简单的概述,然后针对Faster RCNN在手势识别应用的不足,对Faster RCNN的主干结构进行分析,研究了目标检测和识别的特点,在Faster RCNN的基础上,提出了一种改进方法。通过对卷积网络的高级强语义信息Feature map连续上采样,并对低级强位置信息特征图进行融合,构建多尺度特征模型,改进后的模型识别率更高,且鲁棒性更强,本研究的模型的检测准确率为98.1%。（2）介绍了YOLOv3的网络概述,接着针对YOLOv3在手势识别应用的不足,在YOLOv3的原始网络结构进行了研究与分析,针对手势达到实时性的问题,在保留一定的准确率情况下,去对手势识别的速度进行优化。分析主流的深层暗网,在YOLOv3的原始网络结构上,进行研究与改进,提出了一种改进的识别方法。筛选出更合适的锚框的选择策略,并使用一种新的损失函数和新的深层网络结构。改进后的模型最终精度达到了97.5%,检测速度为22fps/s,达到了实时检测的目标。（3）在Android的手机端上,针对手机端上的轻量级网络的手势识别系统,在人机交互的应用背景下,设计一种基于轻量级的网络Mobile Net的手势识别应用方案,在训练好模型后,迁移部署模型,在Android手机端上完成了一款手势识别系统的手机端软件,在手机上识别人的手势,实时处理当前的识别画面,并在手机界面上给出该手势的手势分类类别。