人体姿态识别是计算机视觉领域中的重要课题之一,有助于实现高效的人机交互,备受研究人员关注。手势是人体姿态的重要细节,往往被单独研究。在人体姿态与手势的识别中,对其进行有效描述尤为重要。本文基于人体姿态与手势的视觉信息,研究了一系列的人体动态运动描述方法、静态姿势描述方法、手部分割方法、三维手势描述方法、人体姿态与手势的识别方法,以及它们的现实意义和应用价值。本文首先提出了一种基于深度信息的手部分割方法,该方法通过设置自适应的深度阈值,寻找合适的轮廓拐点,能够从深度图中精确地分割出手部区域。同时,基于Kinect传感器搭建了一个人体姿态及手势信息实时获取平台,该平台能够实时显示和保存彩色图像、深度图像、人体骨架以及分割后的手部图像,给后续人体姿态与手势描述及其识别的相关研究提供了良好的数据支持。为了获得能够表达运动特征的一般性描述,本文提出了一种基于运动基元的人体姿态描述及动作识别方法。该方法通过计算每个骨骼关节点在相邻帧间的运动来表示其三维运动轨迹,提取低级特征以提高算法效率,同时避免了运动信息损失。对低级特征进行聚类得到运动基元,以直方图形式对其进行量化。此外,计算关键骨骼点间距离得到直方图来表示静态姿势,形成对运动基元直方图的良好补充,两者组合构成最终的人体姿态描述子,通过随机森林算法实现动作识别。实验结果验证了该人体姿态描述子具有对运动速度的不变性,以此为基础的动作识别方法在各个基准人体动作数据集上也取得了优异的识别准确率。本文针对硬聚类方法的局限性,提出了一种软量化学习的方法,用于量化和表示人体姿态的特征。提出了一种时空多尺度软量化网络,这是一种使用RBF神经元的可训练的软量化方法。在不同的空间等级下,包括整个人体姿势级别、身体部位级别、各个骨骼关节点级别,使用不同的RBF神经元组,级别内部的各组RBF神经元是不共享的。为了捕获人体姿态的时间信息,在不同的时间尺度上对动作特征序列进行量化,不同时间尺度上的RBF神经元组是共享的。该时空多尺度软量化网络是端到端的神经网络,能够被样本标签有效监督,通过反向传播和梯度下降方法训练,实现动作识别。实验结果验证了软量化方法的有效性,说明了时空多尺度思想对于人体姿态描述是有意义的。最后,本文单独研究了手势的描述与识别,提出了一种3D手势描述及其识别方法。该方法在多个尺度下充分利用了 3D手势的局部和全局特征,在显著特征点处提取手势的3D深度上下文信息作为3D手势描述子。为了更好地衡量不同手势间3D深度上下文描述子的相似性,本文改进了 DTW算法,使用卡方系数计算两个描述子间的距离。该描述子对于手势的几何变换和非线性形变是不变的,并且对于噪声和杂乱的背景也是鲁棒的。以此为基础的手势识别方法在各个基准手势数据集上都取得了优异的识别准确率,并且算法效率能够满足实时应用的要求。