人机交互自其诞生以来极大地丰富了用户体验。在人机交互领域,对人体骨骼的追踪已经变得越来越重要,这主要是由于它们在医疗,生物医学,人机界面,虚拟现实,机器人技术等领域的应用。手作为人体骨骼中最灵活的关节,被认为是最方便,最有效的交流工具,因此基于手部运动的人机交互一直是人机交互领域中极为重要的一部分。深度传感器Kinect的问世为基于手部运动的人机交互技术注入了新鲜血液,带来了更为便捷的用户体验,但是在人机交互的实际应用场景中,该项技术在实时性、准确性、鲁棒性等方面还存在许多挑战。为应对这些挑战,本文研究了真实应用场景中基于Kinect的手部运动追踪,主要研究的是手部运动时手的方向和指尖的位置这两大特征,其主要研究内容如下:针对手方向估计时的实时性差以及准确率低问题,本文设计了一种基于欧拉角的手方向估计方法。首先利用Holt双指数平滑滤波算法来平滑Kinect的骨骼数据,并根据骨骼数据定位到手腕点,然后将四元数转换为代表手方向的欧拉角。由于欧拉角存在噪声且不稳定,本文采用了一种将卡尔曼滤波和中值滤波结合的方法对欧拉角进行滤波。实验结果表明,该方法对Roll,Pitch,Yaw三个欧拉角原始数据的方差的减小程度更大,分别比卡尔曼滤波多减小11%,14%,15%,从而使欧拉角的稳定性更好。通过在彩色图像对手方向进行估计以及运用Open GL构建一个3D手模型来实时地模仿手的运动,验证了本文设计的基于欧拉角的手方向估计方法能够实现实时、准确地估计手方向。针对指尖检测准确率不高的问题,本文设计了一种将测地线距离和凸包结合的方法。首先利用手指合并和分开时手的凸包缺陷最大深度值的不同来区分手指是合并还是分开的状态,并利用标志位对这两种状态进行标记,然后根据标志位的不同确定不同的指尖检测算法。实验结果表明,该方法在手指合并包括四指合并或者两指合并、手指分开,手弯曲、旋转、张闭等多种情况下都能够准确识别指尖的位置,准确度较高,且在手掌反对着Kinect和昏暗环境下也有较好的效果,鲁棒性较强。