虚实融合的三维人机交互技术是随着计算机软硬件的发展而开始拥有应用需求的一种新型人机交互技术。虚实融合技术能够将计算机生成的虚拟环境融合到用户周围的真实场景中,从而提供直观和增强的使用体验;而三维人机交互技术是一种非传统的脱离桌面系统的人机交互技术,用户在三维空间中拥有更高操作自由度,合适的技术能达到自然的人机交互目的。所以,将虚实融合技术引入到三维人机交互领域,能够实现直观自然的人机交互,并为人机交互提供了新思路和新方法。本文提出了一套三维空间中的一维物体跟踪算法,并对跟踪误差进行了仿真分析,在实际应用测试中进行了多项改进,在算法上提高了跟踪的稳定性和精确性,在硬件上增加了与USB鼠标按钮事件兼容的触发信号电路,最后完成制作试验原型——交互笔,为三维人机交互系统设计开发出一套基于视觉跟踪的空间指点式输入设备。虚实融合技术的一个关键技术是配准技术,而基于视觉的平面跟踪技术被广泛运用。本文在标识物和无标识物跟踪技术方面都做了大量改进。标识物跟踪技术方面,本文在研究分析了现有标识物跟踪系统的基础上,设计开发了一套新的标识物跟踪系统,并实现了多标识物联合跟踪,解决了传统标识物跟踪系统遮挡失效的问题,并且提高了跟踪精度。无标识物跟踪技术方面,本文在已有的纹理跟踪算法的基础上引入了分块的思想,使无标识物跟踪算法可以容忍跟踪平面被部分遮挡的情况并且跟踪精度几乎不受影响,结合设计于跟踪平面上的虚拟控件,开发出一套基于视觉跟踪的六自由度输入设备——交互板。本文最终实现的虚实融合的三维人机交互系统将以上的交互笔和交互板结合起来,同时定义了交互系统底层的基本操作和基本任务、以及三维模型的数据结构,设计出适合虚实融合的三维人机交互的用户控制和图形反馈,实现了对虚拟三维模型的建立、选择、平移和旋转,以及对其子层级的编辑,而这些交互操作都是在虚实融合的三维环境下实现的,能给予用户直观自然的交互体验。