针对各种特定的需求，人机交互领域已经出现了很多成熟的产品，如苹果的iPhone和微软的kinect，它们普遍具有方便灵活且极具人性化的用户操作模式，为人们的生活带来了很大的便利。本系统旨在将这种人机交互的便利扩展到普通的家庭电脑上，让每个最普通的电脑用户都能切身感受多输入和灵活自由的人机交互，用人最本能最直观的手势操作代替传统的鼠标操作，将普通电脑只能支持鼠标单点输入的传统，发展到可以同时响应系统的多点输入，这对人机交互技术在普通电脑领域的应用是一次好的尝试，也有希望成为未来普通电脑市场的主流功能配置之一。本文在系统整体框架的设计上，以两个普通CMOS摄像头作为图像采集接口，实时采集用户做出的各种手势图像，利用计算机双目视觉技术，实现了一个三维空间内的多手指点检测、定位和识别的系统。其主要内容包括：双摄像头的标定，三维多手指点的坐标定位，手指分割和指尖检测的算法研究，手势鼠标操作的自定义，以及多手指点的跟踪和识别。最后，在此基础上实现了通过手势模拟鼠标的单击，双击，右击，拖拽等动作，并应用到视频或图片的放大、缩小、旋转等操作中。本文在双摄像头测量图像的深度信息上，摒弃了复杂的用于寻找匹配点的立体匹配算法，改以利用简单有效的指尖检测算法寻找左右图像的匹配指尖点，从而使系统更加具有实时性。针对系统中特定的手指图像，本文改进了传统的轮廓K向量检测指尖的方法，通过有效的聚合筛选和判别，一次性提取出了多个指尖点。另外，本文自定义了一套手势鼠标模拟操作，利用检测到的指尖深度信息，模拟出一个三维空间中的虚拟触摸屏，将指尖点是否进入了虚拟触摸屏作为判别是否有鼠标输入的依据，并在此基础上跟踪和识别多个指尖点，并以图片展示的方式进行识别的验证，试验结果证明系统和算法是有效的。