增强现实(AR)是通过把计算机生成的虚拟信息利用视频显示设备无缝融入到用户观察看到的真实场景中,来丰富和提升人们视觉体验的技术,是人机交互方向产生出的一种新的重要方式。近些年其在科技博物馆、多媒体课堂等教学场合得到了广泛的应用,但大多数都是通过使用手持标识方式的AR技术来进行交互的,其限制性较强,普遍存在易用性与沉浸感差的缺点。因此,利用人来代替手持标识作为AR的输入将是未来人机交互的发展方向,尤其是以人手作为交互的输入,能有效改善手持标识存在的缺陷。以电子元器件插装领域的增强现实示教任务为背景,通过分析和改进国内外相关技术,研发一种基于人手指尖与虚拟元器件交互的AR系统,并将其应用于电子元器件插装示教过程中。其关键是对手部的跟踪和指尖检测,无标记指尖的三维注册,以及指尖与系统标识的中点的位置关系的判别,最终完成指尖与虚拟元器件在插装环境中的人机交互。具体内容包括:(1)针对传统的基于标记板或环境中固定标识物的三维注册方式存在环境受到限制和交互不友好等问题,提出基于无标记的指尖自然特征的三维注册方式,相对传统的注册方式更加自然和灵活。在指尖检测方面,首先实现对手部的实时跟踪与检测,具体采用CamShift结合肤色检测算法,完整捕获整个手部区域,并提出自适应提取K值的指尖检测算法实现指尖位置的准确检测,最后利用实验验证了算法的有效性。(2)研究基于单应矩阵的无标记指尖的三维注册方法。在初始帧的注册中,首先通过改进的FAST算法对初始帧中手部平面与手部模板平面间检测特征点,并使用近似最近邻的算法,结合RANSAC进行匹配求得初始单应矩阵完成注册。在后续的三维注册阶段,通过每一帧与前一帧之间的匹配特征求取单应矩阵,同时提出了以往三维注册鲁棒性较差的解决方案,特征点重检可以十分有效的降低帧数对投影矩阵误差的影响。最后构建手部模型,获取指尖的世界坐标,完成指尖的三维注册。(3)开发了基于无标记指尖自然特征的虚拟元器件插装示教应用系统,该系统分成诸多模块,可方便的实现系统间的模块移植,通用性也得到了改善。本系统可允许示教者使用指尖与虚拟元器件进行实时插装交互,拓展了AR系统的人机交互应用方式,提高了人机交互的沉浸感。