随着计算机科学技术的迅速发展，人与计算机之间的交流也越来越多，对操作体验的要求越来越高，人机交互从以计算机为中心逐步移到以人为中心，使人机交互更加自然，和谐，手势识别一直是人机交互的重要研究课题，在虚拟现实技术不断发展的今天，手势识别作为虚拟现实技术的基础取得了较大的进步。然而基于视觉的手势识别技术仍然还存在着识别率低，对光照，尺度及旋转变换敏感等缺点。基于计算机视觉手势识别过程可分为手势分割，特征提取及手势识别三个阶段。在手势分割阶段，本文提出了基于YCbCr颜色空间的阈值自适应方法，该方法可以有效地排除光照的影响，而且针对不同肤色用户可以动态调整阈值进行肤色分割。然后用基于Hu矩手形比较算法，从分割的肤色区域中进一步得到已定义的手势区域；在特征提取阶段，本文既提取手势的全局特征（Hu矩），又提取了手势的局部特征（SURF），将两种特征按照不同权值融合用于手势分类，提高了手势识别的性能；在手势识别阶段，本文提出了基于压缩感知的手势分类方法，提取待测样本的特征构成超完备冗余字典，将待测样本的特征表示成相应超完备冗余字典的稀疏线性组合，采用求解L1范数的最优化问题实现手势分类，实验结果证明，该方法和目前应用较广的手势识别方法相比，具有较高的竞争性，而且通过融合两种形状特征，对光照，尺度，旋转变化更具鲁棒性。