随着我国计算机技术的迅猛发展，人们对计算机使用方便程度的要求越来越高，手势作为一种自然而直观的人际交流模式，已经成为一种重要的人机交互方式。基于计算机视觉的手势识别是实现新一代人机交互所不可缺少的一项关键技术。 手势识别的研究可以提高计算机对人体语言的理解，通过计算机可以完成手势和语音之间的转换工作，从而实现聋人与听力健康人之间无障碍的交流。然而，由于手势本身具有的多样性、多义性、以及时间和空间上的差异性等特点，加之人手是复杂变形体及视觉本身的不适定性，因此基于计算机视觉的手势识别是一个极富挑战性的研究课题。 本文在深入研究和分析了手势识别系统的原理、关键技术以及目前存在的问题的基础上，阐述了手势识别系统中的常用方法并剖析了算法的优缺点；重点研究了手势分割、静态手势识别、动态手势识别等关键技术；针对单一肤色模型的分割方法容易受到类肤色干扰的问题，在综合分析和统计实验的基础上，利用YCbCr和Nrg肤色模型的互补性以及背景模型能有效去除背景中的类肤色等特点，提出并实现了一种将YCbCr肤色模型、Nrg肤色模型以及背景模型的多特征相融合的分割方法，有效地解决了肤色干扰问题；在对常用识别算法进行深入研究基础上，结合傅立叶描述子具有较好的轮廓描述能力和BP神经网络较强的自学习能力，提出并实现了基于傅立叶描述子-BP神经网络的方法，通过实验证明该方法对不同人的手势识别具有较好的鲁棒性；在剖析了DHMM识别率低但识别速度快以及CHMM的识别率高但识别速度慢等特点的基础上，提出了以SCHMM模型作为本系统的动态手势识别的方法，实现了以kohonen网络进行手势聚类，Baum-Welch算法进行参数估计，Viterbi算法进行识别的动态手势识别模块。通过实验证明，该算法具有较高的识别率并且能够满足实时性要求；最后，对该领域有待深入研究的一些问题做了展望。