手势是一种多方面的通信方式,在非语言交流和人机交互中扮演着重要的角色,它们为人机交互（HCI）提供了一种具有吸引力的方案。其中最开始的交互方式,是通过数字手套,生物肌电,kinect深度设备等外接硬件,逐渐发展为基于计算机视觉算法的方式,深度学习的最新进展极大地提高了图像识别的性能,这种方式脱离硬件设备,符合人们方便快捷的使用习惯,但是在手势变化、光照变化或背景复杂的不利现场情况下,手势识别仍然存在局限性,相关的深度学习算法飞速发展,使得手势识别方面的问题都得到了改善。因此,本文将结合图像处理和深度学习的相关知识运用到手势识别中,实现单手和双手手势的识别,改善复杂环境,包括不同光照,复杂背景下的手势识别,并且提出关于图像处理的改善方法,全方面的对手势识别效率进行提高。针对本文的研究如下:针对手势识别双手手势识别算法稀少的问题,研究双手手势的分割识别算法,提出一种基于图像处理的双手手势分割定位的方法,针对双手手势数据集缺失,自制复杂和简单背景的双手手势数据集。研究LBP,PCA和HOG三种传统手势识别方法和深度学习手势识别方法的识别效率对比,并针对于深度学习手势识别方法精度低,收敛性差,鲁棒性低的问题进行改进,在卷积神经网络基础上,引入自适应增强模块,该模块根据每次网络训练的结果进行自适应残差增强提升性能,提出自适应增强卷积神经网络（AECNN）的手势识别模型,并结合YCBCR肤色模型进行手势提取,提高手势识别效率。双手手势分割算法应用于自制双手手势数据集,并结合五层网络的手数分类器实现手势分组预测,实验表明预测正确结果为98.82%。AECNN应用于美国（ASL）9类单手手势数据集,对比传统手势识别方法,局部二值模式（LBP）,方向梯度直方图（HOG）,HOG结合主成分分析法（HOG+PCA）结合SVM实现手势识别,对比深度学习中的传统卷积神经网络CNN,CNN+Dropout层的手势识别,实验结果表明,AECNN的手势平均识别率高达97.87%,无论是识别率还是收敛性,均远高于传统手势识别方法和传统CNN。对比各个具体手势的识别性能,实验表明大部分手势可准确识别,通过对测试数据添加适当程度的噪声进行手势识别实验和分别抽取不同背景和光照的测试图片进行实验,实验结果表明两个实验平均识别率分别为96%和94%左右,AECNN对于恶劣环境影响的鲁棒性良好。