基于计算机视觉的运动人手行为姿态的跟踪识别是人机交互领域中一个非常活跃的研究课题，同时也是近年来研究的一个热点问题。运动人手行为的跟踪方法中，基于模型的跟踪方法的主要任务是连续地获取与每帧人手图像相对应的三维人手的姿态和位置，这种方法是人手跟踪研究领域的一个重要思路。目前存在的方法中存在着对每一帧的数据处理时间过长、交互的实时性不强等问题。针对目前的跟踪方法中出现的实时性不强等问题，本文提出了一种围绕帧间一致性原理，利用基于体素可视外壳的方法对运动人手进行三维重建，然后提取骨架模型，进而对运动人手行为进行实时跟踪的方法：1.首先研究现有的基于体素可视外壳的建模思想及方法，对多个模拟摄像头获得的视频图像中的运动人手进行实时三维重建，得到运动人手的体素可视外壳模型。研究GPU的并行处理算法，对建模过程进行效率优化，提高系统效率。2.研究体素可视外壳模型的骨架提取算法，在评估各种骨架提取算法的优缺点的基础上，选择一种可以高效的、准确的对运动人手进行骨架提取的方法。该方法充分利用帧间一致性的原理，对三维模型进行实时高效的骨架提取，从而实现对运动人手的实时跟踪。3.研究运动人手行为的跟踪识别算法，分析人手运动特点，利用骨架模型分析判断人手的行为姿态，判断人手的抓取行为，并完成碰撞检测，实现虚实交互操作。在运动人手行为的实时跟踪仿真平台上实现本文提出的算法，并将其时间数据与现有同类方法进行对比分析。实验结果表明，本文提出的实时跟踪方法在保证运行效果的前提下，可以较好的提高运行的效率，增强交互的实时性。