随着虚拟现实与人机交互技术的日新月异，越来越多更自然的以用户为中心的人机交互设备被研究和应用，并得到人们的普遍接受。为了简化设计者对虚拟雕刻系统的操作，使得他们在工作时的操作更加简便且更加的生动形象，而不会影响设计思路与灵感，从而更致力于设计，本文在基于视觉的虚拟雕刻系统下，提出了一种基于手势识别的光标控制交互技术，用户可以使用简单的左手食指伸出的手势对光标实现在系统界面上的移动与点击等操作。本文的主要研究内容主要包括图像分割、指尖提取、手势跟踪、界面设计等四个部分。在手势图像分割部分，根据Jain等提出的肤色聚类椭圆模型，在YCbCr颜色空间中对视频中的图像帧进行手势图像分割，分离出肤色区域，得到肤色似然灰度图像。在进行手势的指尖提取时，使用重心距离法和曲率极大值法相结合的算法，对手势轮廓上的点进行逐点运算，保证了最终只有一个正确的坐标点被提取出来作为指尖点。在对运动手的跟踪部分使用改进的Camshift算法，将肤色分割引入Camshift算法，该算法为在简单背景下实现，可以自动完成肤色检测，实现了全自动跟踪。在光标控制界面设计方面，根据工作条件、界面需求对界面按钮的功能及数目实现最优化，对光标控制界面进行了简单的概念设计。在最后对本论文的研究内容进行了总结，并针对本文使用的技术上难点与不足，对未来的研究情况与发展趋势做了进一步地展望。