随着科学技术的进步，投影仪的尺寸越来越小，价钱越来越低。因其本身具有的灵活性和大尺寸屏幕等优点，投影仪的应用更加广泛，不仅局限于传统显示功能，还可以应用在教育，三维测量，设计和人机交互方面。近些年来，随着计算机视觉技术的发展，出现了很多基于视觉的徒手的人机交互方式。本论文的目标是利用投影仪和摄像机建立一个人机交互系统，让任意一个平面都具有触摸屏幕的功能，用户可以使用手指在投影屏幕上与计算机直接进行交互。本研究提出了一个简单实用的指尖检测算法，可以很准确的找到屏幕上指尖的所在的位置，并在毫米级的精度上判断指尖是否接触屏幕。对于基于视觉的人机交互系统来说，从摄像机捕捉的图像上提取出用户区域是一个至关重要的问题。本文提出了一个基于预测图像的前景提取方法，可以简单、精确、可靠的从复杂的动态背景中提取出用户区域。在投影仪摄像机系统中，投影仪投影出的图像是已知的，所以我们可以通过几何标定和颜色标定的过程，对摄像机捕捉的图像进行一个预测。通过分析预测图像与摄像机实际读取图像的差异，找出投影屏幕上反射率变化比较大的区域，即为用户区域。这种方法即使在投影图像中包含人手的情况下，也能正确的找到真实人手的位置。之后，我们用曲率极值和重心限制的方法在提取出的手臂前景图像中找到指尖的位置。虽然，我们可以轻松的在前景图像上找到指尖的位置，但是如何判断指尖是否接触屏幕是一个很大的难点。投影仪和摄像机刚好组成了一个主动视觉系统，根据立体视觉的原理，我们可以使用三角测量的方式计算出指尖距离屏幕的距离，从而判断出指尖是否接触屏幕。在这里，投影仪既是一个显示设备又是一个三维测量的工具。本论文有两个主要的贡献：一是我们提出了一个简单可靠的手部区域提取的方法，可以在各种复杂的环境下工作，包括黑暗环境和明亮光照环境；二是利用投影仪摄像机组成的主动视觉系统，使用立体视觉的方式判断指尖是否接触屏幕。