人手动作和手势是人们生活当中一种自然而直观的交流方式,随着人机交互逐渐向以人为中心转移,以图像识别为基础的手势识别逐渐成为人们研究新式人机交互的热点。然而,现阶段的手势识别都是基于平面特征,用户只能根据手的平面投影作为识别输入接口进行操作,这大大限制了用户在三维空间信息输入的可操作性。增强现实(Augmented Reality,AR)是虚拟现实(Virtual Reality,VR)技术的发展,AR系统的目标是把三维虚拟对象添加到真实场景中,虚拟对象与真实场景在真实世界中并存,从而增强用户对真实世界的感知和交互。其中,三维注册是以真实物体的特征作为配准,而现阶段利用特定的标志物进行配准成为最成熟、最稳定的注册方式。因此,通过将标志物绑定在人手上,结合标志物注册定位人手的计算机三维空间位置,就可实现更逼真的人手的三维空间操作。本文首先分析讨论了基于AR技术下的人机交互的发展状况及应用领域,通过比较基于人手输入的各类输入技术与基于手势识别输入的异同及优缺点,提出了采用基于图像识别手势并结合标志物注册的徒手操作虚拟物体解决方案。论文提出了人手捕捉虚拟物体建立在AR环境系统下的技术方案。我们通过人手的识别结合标志物来确定人手在三维空间内的操作信息。人手捕捉虚拟物体交互系统的总体结构大致分为三个模块:即增强现实注册环境的构建、人手捕捉操作的识别、虚拟物体的模型管理。论文重点研究了基于手部标志物的三维空间定位,还研究了结合人手识别以及人手对物体的捕捉规则而设计的多个关键图像处理技术。主要研究内容包括:用户输入手势的定义,三维空间人手捕捉规则,人手图像的识别,人手的图像特征提取,人手与注册标志物的转换关系。最后,我们搭建了整个系统的硬件平台和软件框架,结合摄像头一体化的眼镜式立体显示器作为输入输出设备,通过实验验证了AR环境下人手捕捉虚拟物体人机交互技术的可行性。