增强现实(Augmented Reality,简称AR)技术通过视频采集设备取得真实场景的图像,同时生成虚拟的信息准确实时地注册到真实的场景当中,并通过视频显示设备呈现出来,从而达到虚实融合的目的。增强现实技术被广泛地应用于军事、医疗、教育、文化娱乐等领域。随着人机交互技术的发展,人们不再局限于传统的键盘、鼠标的交互方式,努力探索更加智能、更加自然的交互方式。人手动作和手势是人类最直观、自然的表达方式之一,蕴含着非常丰富的语义信息,用户可以直接将人手作为计算机的输入,通过人手的动作或者手势与机器交互。增强现实技术本身就是作为一种新型的人机交互的手段出现的,增强现实系统中人手交互广泛地扩展了增强现实系统的交互方式,极大地提高增强现实的应用范围,具有较高的研究意义。本文基于双目视觉原理研究了增强现实系统中通过指尖与虚拟物体进行交互的技术,涉及到手势图像的分割、指尖的定位、交互方式三个方面,论文的主要工作是：1、在手势分割阶段,针对肤色分割算法中存在的类肤色区域误识别的问题,本文提出了肤色和背景模型相结合的分割算法,用背景模型来去除一部分类肤色区域。算法首先建立基于肤色统计的肤色模型和基于累计的背景模型,并分别用两种模型对图像进行分割,同时更新背景模型,然后将两者分割的结果进行逻辑运算,最后通过连通域划分,得到最大的连通域即为分割出的手部图像。实验结果表明,这种方法在简单的环境下,能够滤除类肤色区域(与手部不重叠类肤色区域)的干扰,满足实时系统中手势分割的要求。2、在指尖定位阶段,本文根据手指的形态特征,提出了一种基于距离的指尖识别算法。算法首先对分割出来的手部图像进行轮廓跟踪,得到手势的感兴趣区域(Region of Interest,简称ROI)；对ROI进行二次扫描,通过计算图像的零阶矩和一阶矩得到手势的重心,比较手势边界点与图像重心的距离来判断指尖的位置。实验结果表明,这种方法能够准确的找到人手的最凸的位置,快速的定位指尖。3、在交互阶段,设计并实现了基于增强现实技术的虚实交互系统,该系统允许用户使用指尖缩放虚拟图片。根据双目视觉原理,利用几何的方法判断指尖是否接触到虚拟图片,从而触发缩放虚拟图片的事件,模拟实现了触摸屏功能,使交互更为自然与方便。