使用现实中的人手实现操纵虚拟环境内的物体的方法一直是虚拟现实领域研究的热点,使用数据手套是一种重要的方法,易于实现,沉浸感强,大受欢迎。但是,高端的数据手套成本较高,低端的数据手套没有腕部定位跟踪器,无法提供人手在空间中的位置和姿态信息,使得其仅局限于搭建手指漫游环境,而无法应用于搭建虚拟装配环境。本文使用一对普通网络摄像头实现了对数据手套的空间位置和姿态的实时捕捉,使得用低端网络摄像头和低端数据手套搭建具有较强沉浸感的虚拟装配环境成为可能。本文的工作主要分为两个方面：一个方面是基于视频图像的运动目标跟踪的研究,通过对运动目标检测和运动目标跟踪算法的改进,实现了运动目标的自动跟踪,并且通过与改进型的背景差分法相结合,大大的提高了以CamShift算法为基础的运动目标跟踪系统的准确性,然后实现了双摄像头对运动目标的空间位置进行实时检测,并且通过对空间点定位模型进行改进,解决了柔性物体的空间姿态的实时捕捉问题；另一方面是搭建以数据手套为基础的虚拟手势交互系统,通过对人手的解剖模型和手指的运动学方程分析,使用3DMAX建立了一个简易的模型,导入DirectX3D搭建的虚拟场景中,通过数据手套实现了人手到虚拟手的映射。在本文的最后,在VS2008平台上,用VC++搭建了一个虚拟手势交互平台,将运动物体的空间位置和姿态检测模块和虚拟手势交互模块相结合,然后在虚拟场景中加入碰撞检测模块,最后做了手人手操控虚拟手移动物块的演示实验,证明本平台实时性和稳定性都能满足虚拟装配的要求。