近年来随着科技的发展,新型的人机交互方式不断涌现,传统的借助鼠标、键盘等接触式的交互方式已不能满足用户的要求。手势作为最形象、最自然地信息交流方式开始逐渐被应用到人机交互领域。本文主要研究在不借助其他接触式辅助设备情况下基于计算机视觉进行裸手的手势识别,主要工作内容如下:首先,传统手势识别技术通常包括手势图像分割、手势特征提取与手势分类识别等过程,肤色作为人手重要信息被广泛地用于手势分割中。但在传统的基于肤色分割和HU矩特征的手势识别系统中,光照强弱、实验背景复杂程度、视频中类肤色区域等因素都会对手势识别准确率造成影响,针对光照及复杂环境影响本文提出基于SIFT特征提取算法并融合多特征的手势识别方法。针对实际情况下可能出现多个手势目标及同一个操作者也可能出现双手遮挡等问题,本文提出利用梯度方向直方图HOG结合主成分分析PCA对左右手进行识别,并在不同环境下比较了本文所提出的多特征融合手势识别方法的准确性,通过对比试验可以看出本文提出的方法取得了不错的识别效果。其次,传统的手势识别方法需要先手动提取特征,再设计分类器,过程复杂,识别准确率受其他因素影响较大。而卷积神经网络图像识别方法通过训练一个端到端(End-to-end)的卷积神经网络,对输入图像进行训练后同时进行特征提取与分类,不通过其他步骤,能够直接对分类结果进行输出。本文改进了经典的卷积神经网络模型搭建了新的模型,对模型进行训练。由于实验数据集较小,通过引入2层dropout结构对模型进行优化,有效的减轻由于样本不足带来的过拟合问题,针对手势识别需要调用摄像头捕获手势时光照变化带来的影响,在预处理阶段进行二值化处理和背景掩膜处理来克服环境变化影响,通过不同参数情况下模型在测试集上的准确率对比,进而确定对网络模型初始化最优参数。较传统的手势识别方法而言,基于卷积神经网络的手势识别无论是识别准确率还是系统鲁棒性都有明显的提高。最后,在本文搭建的CNN模型基础上,提出了一套基于计算机视觉的手势交互方案,通过手势识别进行无接触式的控制图片的放大、缩小、平移、旋转。针对手势识别过程中出现的效率低下和识别用户意图的错误率较高的情况,本文提出了一种提取视频关键帧的算法,并动态的处理阈值,保证了交互系统的高效率、高准确率。实验表明,该方法在实际应用中取得预期效果达到了手势控制人机交互的目的。