基于计算机视觉的手势识别技术是计算机视觉的重要研究领域，尤其是仅具有单目、普通摄像头的手势识别是计算机视觉研究中最具挑战性的问题之一。本文主要针对单目、普通摄像头下的孤立手势识别技术，提出一种基于单目、复杂背景条件下手势识别系统的开发研究，针对影响系统鲁棒性、实时性因素开展探讨研究，并开展了以下方面的研究工作：1、自适应跟踪器改进研究。跟踪目标实质是一组点，依据跟踪时，某些点可能出现跟丢现象，本文提出了前、反向误差及相似度来评估点的预测质量方法，通过方法研究，成功地实现了跟踪器自适应跟踪目标，延长了正确跟踪目标的时间。2、跟踪器恢复机制研究。针对跟踪器跟踪失败后没有恢复机制，提出了带检测的跟踪器。方法是通过跟踪和检测并行工作，成功地实现了在跟踪器跟踪失败后，即刻通过目标检测方法重建跟踪器达到跟踪恢复。针对检测器扫描整幅图象，用分类器判别当前区域是否是目标，分类器的使用频率很高，使得对分类器的性能有严格的要求。提出了随机森林的分类器，通过“生长”和“剪枝”事件为训练样本库建模，分类器在此样本库上在线学习。3、针对手势识别中，找出有意义手势的的起点和终点是个难题。本文提出鼠标控制技术，通知手的形变触发鼠标事件设定有效轨迹的起点和终点，巧妙的解决了这个问题。4、针对单个轨迹特征不能得到很好的识别率。通过试验抽取最佳的特征组合（位置、角度、速度），实现了系统识别率的提高。基于上述算法研究集成开发了一个简单手势识别应用系统，此系统能对手势符号（0-9）和（A-Z）进行识别，最后通过实验表明了系统具有很高的识别率。