基于视觉的手势识别技术是新一代人机交互的重要内容，使用计算机通过摄像头理解人们的手势并做出相应的反应，使人们摆脱了传统的键盘鼠标，将改变人们的生产生活方式。本文概论了基于视觉的手势识别的基本理论和研究状况，构建了一个基于手部约束的模型，然后对手进行分割。提出SVM的改进分类算法后，讨论了手部的运动跟踪和估计，最后介绍了一个实时的手势识别系统。通过研究证明基于视觉的手势识别具有很高的研究价值和发展前景。论文的创新点如下：●提出了基于骨骼约束关系的模糊点脊模型，通过点脊模型，忽略弯曲的部分因素，实现对手部区域的定位。算法优势在于能够剔除非关键信息，减少了图像特征的数目，节省了运行时间。●提出了用于分割期间手势分类的SBB算法，对比Adaboost等算法，适合数目较多的字母手势的分类。保持了原有Boosting算法良好的泛化特性，能够克服一定的遮挡和弯曲。●提出了一种肤色关联光流估计算法。较好解决了跟踪过程中动态手势遮挡的问题，能克服一定的运动模糊带来的困难，对于光照不敏感。●提出了一个基于肤色的相干映射手势跟踪算法。利用一般关联映射建立起点周围的矩形区域和环绕区域的映射，通过空间变换弱化了手势图像的模糊现象对识别的干扰，保证了映射过程中特征点的抗畸变性能。●提出了一个一对多的多层次SVM学习的判决规则。使用一对多分类器，避免了一对一分类器巨大的计算量。多层次的SVM，保证了分类过程中的较低开销。