由于视觉交互面对的是整个生活场景，而生活场景是多变且难以预测的，且场景会受到很多外界因素的干扰，如光照，温度等，因此目前基于视觉的人机交互还存在一定的局限性。针对此问题，本文提出了一种基于深度传感器的手势识别方法，克服了传统手势识别易受光照变化影响的问题，并在此基础上提出了一种面向移动机械臂平台的基于手势识别的人机交互框架，提高了移动机械臂平台的智能水平。本文分析了视觉手势识别与人机交互的研究现状，针对目前手势识别中存在的不足，提出了本文的解决办法，即采用体感传感器Kinect进行手势识别及人机交互研究。首先阐述了手势的基本概念，总结分析了手势建模、静态手势识别与动态手势识别的常用方法，研究了基于单高斯模型的肤色建模与混合高斯模型的肤色建模方法，并进行了肤色检测实验。其次重点分析了体感传感器Kinect获取深度图像的原理，研究了根据深度信息获取手势位姿和关节点的方法，并结合深度信息与肤色模型对手势进行3D建模。在此基础上，采用Haar-Like特征对手势进行特征提取，为后续手势识别建立了良好的基础。然后描述了Kalman滤波及Camshift算法的原理，提出了将Camshift跟踪算法与Kalman滤波相结合的算法，提高了对动态手势跟踪的准确性与实时性。。最后分别对静态手势集与动态手势集进行识别实验，根据识别效果，分析了识别率、稳定性、实时性等性能指标。分析了常见的人机交互模型，在此基础上提出了一种面向移动机械臂平台的基于手势识别的人机交互框架，设定了控制手势集，定义了系统功能，并进行了人机交互导航的实验，验证了系统的有效性与准确性。