随着计算机软、硬件技术的迅猛发展及广泛应用,人与计算机之间的交互活动也越来越密切。手势这一人与人之间除自然语言外最重要的人际交流方式也被引入人机交互中,使得人与计算机之间的交互以一种更加自然而直观的方式进行。论文从自然人机交互的需求出发,对复杂背景下序列图像中的静态手形提取、动态手势建模及特征提取、动态手势跟踪识别进行了研究。并在此基础上,实现了从摄像头输入的5种鼠标手势的识别,以此来验证论文算法的正确性与有效性。针对复杂背景下利用单一线索对静态手形提取不准确的缺陷,提出了一种结合手势肤色、运动、轮廓等多线索的静态手形提取方法。该方法利用HSV颜色空间的H、S分量以及YCbCr颜色空间的Y分量实现了光照变化条件下手势的肤色检测,并且利用帧差分法进行运动检测去除类肤色背景,最后融合肤色、运动、轮廓等多种线索实现了复杂背景下静态手形的准确提取。为了解决传统Mean shift算法在复杂背景和光照变化等情形下存在跟踪不稳定、跟踪失败无法恢复等问题,提出了一种融合手势肤色和结构等多特征的鲁棒的Mean shift手势跟踪算法。该算法将肤色检测和帧差分法相结合形成目标检测模块,实现了跟踪初始化时可自动检测目标,同时可自动根据跟踪结果来确定目标手势矩形域。经与传统Mean shift算法对比实验分析,该算法提高了手势跟踪的准确性和稳定性。当手势快速运动及遮挡等导致跟踪失败时,可利用目标检测恢复跟踪,提高了跟踪的连续性。针对动态手势模型的准确性和使用速度不协调的矛盾,提出了一种动态手势建模及有效提取的方法。该方法利用动态手势开始手形、结束手形和中间运动轨迹建立动态手势模型,利用边界矩提取动态手势特征。实验表明,该方法可实现动态手势特征的有效提取。最后,在Matlab7.0环境下编程进行了仿真实验,识别从USB摄像头输入的5种鼠标手势,结果证明了本文所提方法的有效性和正确性。