随着计算科学、通信技术和显示设备的飞速发展，人机交互方式显得相对落后，传统的交互设备带来的不便性和束缚感阻碍了人机交互的发展。如今，新式人机交互方法得到了学者们的广泛研究，其中基于视觉的手部检测方法实现人机交互成为了研究热点。由于其具有不依赖复杂的硬件设备的优点，拥有着广泛的应用前景和研究价值。本文主要研究了单目视觉下手指检测跟踪系统的设计和实现方法。手指检测跟踪系统主要分为三个部分：手部检测，指尖识别和手部跟踪。手部检测结果为指尖识别和手部跟踪提供对象，手部跟踪则在新的一帧中为手部检测确定目标。而指尖检测主要功能是在手部提取结果中确定指尖位置。三个部分相互协调，实现了连续图像中的手部检测和跟踪。本文的研究重点侧重于手部检测和指尖识别。手部检测和指尖识别采用了不同的手部特征作为检测条件，充分利用了摄像头获取的二维手部特征。手部检测依靠人体肤色的均匀性和特殊性，采用基于YCbCr颜色空间的肤色提取方法，有效的排除了亮度对颜色提取的干扰，实现了复杂背景和不同光照条件下的手部提取。指尖识别依靠人类手指尖处轮廓曲率值稳定的特点，采用基于轮廓曲率的指尖检测算法作为指尖检测条件，有效地提取出了符合曲率的类指尖点。同时，本文基于指尖在二维图像上的分布特点，提出了采用轮廓凸包结合曲率检测的方法以确定指尖点位置，排除了例如指缝处的类指尖点等多种干扰，实现了指尖位置快速和准确的检测。对于手部跟踪，直接采用了Camshift作为跟踪算法，由于其基于颜色直方图跟踪目标的特点，非常适合跟踪手部这种具有均匀颜色的目标。文章最后给出了在现实环境下程序的识别结果，依次为较强光照、不同手型和有肤色干扰存在下的手部检测、指尖识别和手部跟踪性能。通过分析不同条件下的检测结果，验证了程序能够有效的在复杂环境下识别指尖并且跟踪手部运动，并且有效解决了目前手部识别中遗留的一些问题，达到了预期效果。