在人机交互领域中，交互界面的友好性变得越来越重要。由于人主要依靠视觉从外界获取信息，因此，人们希望计算机视觉在人机交互技术中也发挥重要作用。本文主要研究实时的基于视觉的动态手势识别系统，并将之应用到“基于Internet远程机器人控制系统”项目和“基于PC平台的AR系统”项目的人机交互部分。实践结果证明，基于手势的交互是一种自然而直观的人机交流模式，它自然舒适，符合人与人之间的交流习惯。 本文对当前手势识别方法进行了总结，分析了各种方法的优劣，指出提取鲁棒的手势特征和设计有效的分类器是手势识别中的重点。 图像中人手的自动定位和提取是进行手势识别的首要条件，本文采用基于肤色的高斯模型与改进的光流场跟踪算法结合的方法，实现了复杂背景下实时快速的手势跟踪。该方法具有快速和准确的特点，且具有较好的鲁棒性。 对于动态手势的识别器，考虑到动态手势特征本身的一些特点，本文采用隐马尔可夫模型(HMM，HiddenMarkovModel)作为训练识别算法，并将识别系统应用于基于Internet远程机器人控制系统中。 标准HMM优化的目标只是使单个HMM的似然最大，导致HMM的类间判别能力较弱。而目前流行的支持向量机(SVM)方法具有强分类能力，但不能对变长的特征向量进行处理。为了提高手势识别率，本文总结了目前SVM与HMM结合的方法，将结合方法分为SVM概率输出与级联两类，并分析了两种方法的适用范围。本文采用级联的方法作为手势识别算法，并将之应用到基于PC平台的AR系统中，实现了人与机器的自然交互。