随着人机交互技术的提出及发展,手势识别方法正成为其中一项关键技术,可以用于虚拟环境的交互,多通道、多媒体用户界面,手语识别以及机器人机械手的抓取。因此,研究复杂背景下手势动态目标的跟踪和识别不仅具有重要的理论意义,而且具有广泛和很高的实用价值。本文在分析和研究视频捕获、手势图像预处理、复杂背景下手势动态分割以及特征提取方法的基本理论和算法的基础上,设计并实现了基于VFW的手势追踪识别实验底层软件。该软件具备控制视频源属性、捕获图像格式、设置帧速率等功能,可以生成静态手势图像、动态手势序列图像和手势视频文件,并可以实时捕获关键帧以供实时动态手势分析之用。在手势检测方法上,采用矩形特征描述手势,提出一种改进的AdaBoost算法来训练分类器,给出了一种矩形特征快速计算方法和手势类可分离性的评价方法,改进的算法避免了分类器的过度训练问题。经实验表明:同种手势不同旋转角度的分类器训练试验,矩形特征能够产生可靠的检测器,但是对手势的姿态变化较敏感,当手势旋转角度小时,正确检测率可以达到95%以上;单手势实时检测试验,从摄像头实时捕获视频中检测手势实时性好,对复杂背景和噪声有较强的适应能力;干扰条件下单手势及多手势连续自动跟踪与识别试验,当样本覆盖了包含光线亮度、复杂背最变化很宽变化范围的场景,训练出的分类器在识别过程中对背景干扰、各种噪声等都有较强的适应和处理能力,具有很好的鲁棒性,实时性好。最后,通过本文的上述研究成果,在人机交互领域提出一个新名称:手标(以人手直接作为计算机的输入设备),用本文提出的方法来代替鼠标用于游戏操作。实验结果表明:经过样本训练好后形成分类器,“手标”可以代替鼠标工作,但目前还存在定位精度不足和速度慢的问题。