人类如何更有效更方便的对计算机的操作进行,获得更好的交互体验,是人机交互领域的一个热点研究问题。人类手势包含大量的符合人类认知方式的交互信息,更易被用户接受和使用;由于手势在三维空间中的连续运动,手势还包含丰富的三维空间位置信息,因此可以将手势三维空间位置信息和二维形状信息结合起来,作为一个整体进行研究。另外,基于视觉的手势识别与跟踪技术具有硬件设备价格低廉、非接触式和市场前景广阔等特点。之前虽然很多学者对基于双目视觉的手势识别与跟踪技术进行了研究,但是仍然存在很多问题,例如人手检测和跟踪准确率低、专业双目视觉设备昂贵等。通过文献调研,本文选择对基于双目视觉的手势识别与跟踪技术的部分重要课题进行了研究,主要工作如下:1.分析了混合多尺度可变形部件模型,并通过分析建立人手形状直接检测器和人手上下文间接检测器,提出并实现了一种基于人脸识别先验知识的双侧肤色识别器,在此基础上设计了一种由人手形状直接检测器、人手上下间接检测器和肤色检测器3种检测器组成的多检测器人手检测方法,对7组图像进行了验证,表明该方法可以对图像中不同位置和姿态的人手进行检测和分割;2.通过ULBP特征和Kalman滤波器改进了基于颜色直方图的Mean Shift跟踪算法,分别解决跟踪候选特征单一和跟踪高速运动目标容易丢失的问题。然后对由相机拍摄的序列图像中运动的人手进行跟踪,经过验证改进后的算法能够对满足对快速运动人手进行跟踪的要求;3.结合双目立体视觉原理和相机标定相关成果,设计了一个基于FAST特征进行立体匹配的双目视觉系统。系统完成了双目的相机系统标定,经过试验测定系统对800mm内静物的测距相对误差小于6%,满足基本使用要求;4.考虑到手势识别与跟踪是一种实用技术,所以结合上述研究结果,本文最后还设计了一种实验性的基于双目视觉的手势识别与跟踪系统,该系统能够对空间中的人手进行检测、跟踪与定位,具有一定的实践意义。