随着计算机与互联网的发展和普及，使得人机交互与日常生活息息相关，成为了人们生活和工作中的重要一部分。人机交互技术以实现自然、和谐、便捷的交互为目标，从传统的以计算机为中心逐渐转移到以人为中心。手势是人类表达自己以及与外界进行交互的重要手段，手势交互作为人机交互领域里的一种自然、直观和易于学习的交互手段，有着十分广阔的应用前景。基于视觉的手势交互是当前人机交互领域里的一个重要研究方向，该交互具有远距离和非接触式的特点，符合人们的日常交流习惯。基于视觉的手势识别、手势跟踪与手势交互是新一代人机交互不可或缺的关键技术。基于视觉的手势跟踪是指通过输入设备获得人手运动的视频信息，由图像分割技术获取每一帧的人手分割，在此基础上实现人手姿态的预测和跟踪，并通过三维虚拟人手模型来实时显示跟踪结果。本文在分析与总结国内外相关研究的基础上，针对基于Kinect的人手分割和基于认知行为模型的人手跟踪进行了研究，进而设计一种实时性好、鲁棒性和精度高的三维手势跟踪方法。主要研究内容和创新点体现在以下几个方面：(1)研究认知行为模型，建立人手运动特征的微观结构库在特定的交互情景下，人手的运动是有规律可循的。本文以认知理论为指导，在没有人为干预的情况下，在基于数据手套的跟踪平台上进行实验。对实验中人手的运动规律进行分析、归纳和总结，对手势交互过程中的认知过程、交互阶段以及每个阶段的人手运动微观结构进行研究，形成认知行为模型库。进而，揭示手势的运动规律和交互特征，为设计手势的跟踪和交互算法提供一个新的角度和依据。(2)基于人手运动特征的微观结构，改进预测和采样方法，提出基于微观结构特征的三维手势跟踪方法目前基于粒子滤波的手势跟踪方法一般利用当前帧手势的图像和上一帧手势的状态信息来获取当前手势的状态。与此相比，本文算法的创新点在于以行为分析和过程建模为切入点，探讨建立微观结构模型与当前手势之间的数学联系。把获取当前帧手势的状态建立在认知行为模型的基础上，而不仅仅以少数局部帧的信息为基础，为粒子滤波算法中的预测和粒子生成过程提供了一种统一高效的数据结构和方法，提高了跟踪的精度和速度，实现了实时、高效的手势交互。(3)基于Kinect的人手分割因为基于传统RGB摄像头的人手分割鲁棒性较差，容易受到光照和复杂背景的影响，本文采用微软的Kinect传感器来获取深度数据，通过使用OpenNI自带的类获取人手所在的位置，然后在人手坐标领域的三维空间内提取出手的部位，接着运用肤色模型的分割方法对获得的人手部位再进行处理，最后对获得的图像进行去噪、膨胀和腐蚀处理。实验结果表明，与基于传统RGB摄像头的人手肤色分割相比，本文算法避免了光照、背景等因素的影响，可得到较理想的手势分割效果，提高了手势分割的鲁棒性。