人机交互技术已经受到人们越来越多的关注,随着科技的进步,人机交互的方式不断革新,新的控制和输入技术正变得越来越普遍,尤其是手势识别技术。获取手势数据有多种方式,在基于视觉的方法中,人和计算机将直接通信,比通过可穿戴设备进行手势识别简单、自然,更加方便用户使用。然而基于视觉的手势识别容易受到光照和背景变化的影响。深度摄像头同时包含物体的彩色信息和深度信息,其中,深度信息主要用于从背景中分割前景而不受光照影响,颜色信息用于提取二维特征。本文分别针对静态手势和动态手势提出一种有效的解决方案,并通过实验证明所提方案的有效性。首先在复杂环境的手势分割方面,本文采用RGB图像和深度图像结合的分割方法。根据肤色在YCrCb空间的聚类特性,统计图像中肤色信息的分布,在Cr通道上设置分割阈值,去除肤色以外的区域。然后提出在深度图像上结合最大类间方差法和阈值分割,从背景中分离出手部。最后综合RGB图像与深度图像的分割结果,得到准确的手部划分。对于静态手势的特征提取,本文使用了深度比较特征,通过计算每个像素点邻域内上下文像素点的深度差描述像素特征,然后训练随机森林分类器进行像素分类。属于同一类别的像素点,通过Mean-shift聚类算法求出像素的中心,作为一个手部件的关节点,从而生成手部的关节点模型。本文提出搜索窗口自适应的Mean-shift算法,设置与手部件大小有关的放缩因子来调整迭代中的窗口大小,排除迭代过程中无关像素点的干扰,简化计算。对于输入手势与三维标准手势模板的角度偏差,本文使用SVD分解求解输入手势关节点模型的旋转、平移矩阵,在三维空间中校正输入手势与模板的误差。对于动态手势识别,由于三维轨迹的二维投影可能存在视角方面的误差,所以本文直接从三维轨迹中提取特征。将不同关节点的运动轨迹建立相对关系,分别使用不同的特征表示。其中手掌轨迹作为根轨迹,本文提出具有旋转不变性的质心距离函数(CDF)来表示根轨迹特征;其余轨迹与根轨迹的差值作为子轨迹,以包含方向与距离信息的球坐标表示。质心距离函数特征与球坐标特征形成融合特征。分层极限学习机是一种学习速度快且泛化能力强的神经网络算法,使用融合的特征训练分类器,使动态手势识别在满足实时性要求的同时提高识别率。实验表明,本文方法的识别精度和时间均优于SVM和ELM算法。