近几年来，人与计算机的交互活动越来越成为人们日常生活的一个重要组成部分，特别是研究符合人际交流习惯的新颖人机交互（Human Computer Interaction, HCI）异常活跃，人们希望能够更有效更自然地与计算机进行交流。而传统的以键盘、鼠标、手柄等为主要工具的人机交互技术，在很多情况下，不能确切地、直接地、自然地表达人们的意图，从而不能够实现和谐的人机交流。所以，基于视觉的自然人手跟踪是智能人机交互中的一个重要研究课题，也是国内外计算机视觉领域的研究热点。基于视觉的自然人手跟踪的主要任务，是通过摄像头对自然人手的运动进行实时捕捉，利用图像处理算法和跟踪算法获得自然人手运动信息，利用获得的人手信息在计算机中重构出当前自然人手的姿势和状态，真实再现人手的各种运动，为实现和谐、自然、方便的HCI界面奠定良好基础。本文研究侧重于单目视觉条件下的自然人手跟踪。因为人手本身是一个复杂的、非刚性的、多链接的物体，其人手姿态本身具有多样性和复杂性。所以，自然人手在单目视觉下跟踪必然存在一些多变的因素，如何保证在单目视觉下的自然人手具有较高的精度和较好的实时性，是一个极其富有挑战性和研究性的课题。本论文依托国家自然科学基金(61173079，60973093，60873089)和山东省自然科学基金重点项目(ZR2011FZ003)资助来研究的。本文结合跟踪理论和认知心理学等相关学科，对三维人手跟踪方法进行了改进，提出了基于多模型融合的人手三维跟踪方法。主要创新点如下：（1）基于认知实验的状态预测模型建立良好的预测模型是提高跟踪精度的基础，本论文是根据虚拟交互实验和BenShneiderman的行为心理学理论来建立人手模型。首先，利用数据手套和位置跟踪仪建立基于数字手套的虚拟装配平台。其次，结合人手的行为理解和描述，利用数据手套和位置跟踪仪获得自然状态下人手运动的数据。再次，根据人类行为的一个普遍特征就是阶段性，将人手运动过程分为自然状态、运动状态和交互状态三个阶段，按这三个阶段对虚拟装配平台下获取的人手数据进行分析，得到基于认知实验的人手状态预测模型。（2）基于局部分析的预测模型为了得到更为精确的跟踪结果，本论文对人手跟踪过程中得到的人手状态变化的数据进行处理。首先，取n维人手跟踪结果的数据，利用二次多项式进行数据拟合。其次，将Sigma点的分布用于已得到的人手跟踪数据来获得人手状态的样本点，从而得到基于局部分析得人手状态预测模型。该方法用Sigma点转换来减小人手跟踪过程中虚拟场景中重构人手和现实世界中自然人手匹配的误差，从而提高人手跟踪的精度。（3）提出了基于多模型融合的人手三维跟踪算法本论文提出的跟踪算法是建立在基于认知实验的人手状态预测模型和基于局部分析预测模型的基础上进行的，将这两个模型信息分别与现实世界的人手信息（即当前帧图像的信息）进行相似度匹配，根据匹配度对两个模型信息加权融合，这样每帧都会用不同的权值来调节这两个模型的组合，来约束和指导粒子滤波过程中的人手运动预测模型，避免了预测模型的盲目性，从而获得更精确的人手跟踪信息。本文以认知实验和Sigma点原理为切入点，建立人手状态预测模型并将两个模型进行融合，进而实现状态预测；进一步通过基于摄像机的虚拟装配平台与其它算法在跟踪精度和时间消耗等方面进行对比，验证了算法的有效性和优越性。