近年来，随着计算机视觉技术的不断发展，基于视觉的动态手势识别成为了多模式人机接口技术研究的一个重要研究方向，受到了国内外的广泛关注。本文从手势检测和分割、动态手势跟踪和动态手势轨迹识别三个方面对基于单目视觉的动态手势轨迹识别算法进行了研究。在手势检测和分割部分，本文采用一种组合运动检测、肤色检测和Gabor纹理检测的手势检测和分割算法。首先利用运动检测得到候选手势区域，然后对得到的候选手势区域进行肤色分割，得到肤色候选区域。接着对得到的肤色候选区域进行Gabor纹理检测。最后进行形态学处理从而得到分割效果良好的手势分割结果。在动态手势跟踪部分，本文使用结合Kalman滤波器和Mean Shift跟踪算法的动态手势跟踪算法。利用Kalman滤波器对运动手势的位置和跟踪窗口宽度进行预测，预测结果作为Mean Shift跟踪算法的输入进行运动手势的跟踪，达到了实时跟踪的目的。在动态手势轨迹识别部分，本文仔细研究了隐马尔可夫模型，并实现了基于隐马尔可夫模型的手势模型训练算法和手势轨迹识别算法。最后在以上算法研究的基础上，本文设计并实现了一个基于视频流的实时动态手势轨迹识别系统。实验结果表明，系统具有较高识别率。