随着计算机技术的快速发展，人与计算机之间的交流呈现多样化，人机交互也同样在不断的推出新的应用领域，其中基于视觉的手势识别由于手势的灵活多样性成为了研究的重点。手势识别可以应用于很多领域：机器视觉，模式识别，虚拟增强现实等等。本文提出一种有效的手势分割与跟踪方法，能在两只手同时出现时实现干扰最小的完整分割。采用双手戴有不同颜色的手套，将人手的图像由RGB空间转换到HSV空间，在HSV空间利用半自动预定义模板颜色对人手进行分割，本系统采用了手势跟踪与手势识别技术结合的方法，改进了Camshift算法，解决其半自动问题，并同时实现多目标跟踪，实现双手的手势识别；在成功分割并准确跟踪基础上建立一套手势特征文件，实时的利用特征匹配实现双手势的识别。本文最终是通过VC程序编写软件实现算法，这款软件最终是要实现通过USB摄像头采集视频图像序列，传到计算机进行算法处理实现双手势的识别以达到简单的人机交互的目的。经测试，该算法解决了在利用Camshift实现手势跟踪方法中容易产生的干扰，跟踪效率高，而且能实现双手的同时跟踪和识别，识别准确率非常高，受光线影响小。