增强现实(AR)技术是一种将计算机生成的虚拟对象准确无误地放置到真实场景中,并借助于视频显示设备使人的视觉体验得到提升的新技术,它是随着虚拟现实技术的发展而产生的。近几年来它已经成为一个研究热点,使用增强现实技术的软件系统被广泛地应用在教育科研、城市规划等各种领域中,但其使用的交互方式大部分都是基于人工标识。尽管这种交互方式比较成熟,但仍然存在许多不足之处。手势是一种非常直观的表达方式,如果用人手代替标识作为计算机的输入来完成人机交互,那么增强现实的应用范围就会更广泛,也会提高人机交互的沉浸感。本文研究增强现实系统中人手与虚拟对象进行交互的技术,包括手势图像分割、手指指尖检测追踪、交互方式等方面,并实现一个人手与虚拟模型交互的增强现实系统。本文的主要工作如下：(1)针对手势分割时类肤色区域难识别的问题,本文提出基于肤色检测和背景减除相结合的方法。首先采用一种改进的邻域平均算法对图像进行平滑处理；然后选取YCrCb颜色空间建立肤色分布的高斯模型；并将经过肤色检测的图像建立背景的高斯混合模型,经过两种方法的逻辑运算得到单一的手势区域。经过验证,这种方法能够实时满足系统的分割要求。(2)结合系统的特征使用基于轮廓曲率的方法来进行指尖检测,并对手指区域进行曲线拟合,采取椭圆拟合实现了对指尖的精确定位,然后对检测到的指尖进行实时跟踪,提出了一种匹配算法,通过计算相邻两帧图像中指尖点的位移以及结合手部质心的运动来实时跟踪指尖。经过实验验证,算法具有检测识别以及实时跟踪指尖的鲁棒性。(3)设计并实现增强现实环境下的人机交互系统。将前期实现的算法整合进增强现实系统,用自然手代替传统的纸质标识,实现了与虚拟模型的实时交互。通过多次测试,本文实现的系统能够适应不同的环境,并且交互方式上自然方便。