随着现代科技的迅猛发展，人与计算机等机器的交互方式也越来越多样化。传统操作方式由于其操作上具有一定的约束性，已经满足不了人们对更自然和谐的人机交互方式的追求。手势识别，作为一种更加“人性化”的交互方式，受到人们广泛的关注和追捧。但是由于手势的多变性、多样性、多义性和时空差异性等特点，加之光照、背景等干扰，基于视觉的手势识别在技术上还存在很多困难。针对这些问题，本文分别对复杂背景下的静态和动态的手势识别算法进行研究。　　针对现在基于计算机视觉的静态手势识别的研究中要么需要较为复杂且昂贵的输入设备，不利于自然灵活的人机交互，要么容易受到背景中人脸等肤色物体的干扰，导致识别率和实时性的效果均不佳，本文设计了一个采用普通摄像头的基于计算机视觉的静态手势识别系统。首先，采用基于人脸先验知识的自适应肤色分割和基于混合高斯模型的前景分割，定位到手势区域;然后，分析得到手势区域，提取不变性特征值，分别采用BP神经网络算法和SVM算法训练、分类特征向量实现数字1-9的9个手势识别。其中基于BP神经网络的手势识别系统的平均识别率为91.89％，而基于SVM的识别系统的平均识别率为95.89％，能够比较准确的识别出手势。　　针对动态手势轨迹识别中，手势容易受到人脸、遮挡等影响致使跟踪丢失或者丢失后难以召回手势，以致识别率不佳的问题，本文设计了一个实现10个动态手势轨迹识别的系统。首先，采用了TLD算法跟踪有效的手势模板，并对手势结束后是否为跟踪丢失的情况进行一次判定，以获得完整的手势运动轨迹;然后，通过对手势中心的运动距离和运动方向两组观测序列的分析，分别设计了基于DTW和HMM算法的动态手势识别系统，其中DTW算法的平均识别率为93％，识别时间仅为23.8μs，HMM算法的识别率为95.6％，识别时间710.2μs，都能较好的识别出动态手势轨迹。　　本文设计的静态和动态手势识别系统，可以进一步融合，并可推广到视频播放控制、手写输入等应用中，为基于视觉的手势识别提供一种简单有效的方法。