基于计算机视觉的手势识别被广泛地应用在人机交互领域。它能够利用相关算法对摄像机捕获的图像序列进行分析并识别其中的手势。本文主要通过对手势识别的研究实现了一个虚拟乐器演奏系统,增加了乐器演奏的趣味性,不仅能够吸引更多的人来学习民族乐器的演奏,还可以为民族非物质文化遗产的保护和传承做出贡献。本文首先对虚拟演奏系统中使用到的相关技术进行了简要介绍,包括增强现实、体感交互和手势识别,并对常见的几类手势识别技术进行了详细的分析比较,然后选择了适于本系统的自然交互环境的基于计算机视觉的手势识别方案。然后根据手势识别的一般流程设计并实现相关算法。根据二胡演奏的实际情况,针对左手手势识别,使用基于3D模型的手势建模方法定义了五种手势,利用基于反向动力学的手势拟合算法对二胡演奏中的五种基本手势进行模拟和识别,主要介绍了最佳拟合位置的探索算法;针对右手手势识别,使用基于表观的手势建模方法提取Hu矩特征对定义的两种右手手势进行建模,并使用基于轮廓匹配的手势识别方法进行识别。最后,利用手势识别驱动实现了基于增强现实环境的虚拟二胡演奏系统。采用深度相机Kinect作为输入设备,充分利用Kinect提供的彩色图像、深度图像和骨骼数据信息构建增强现实场景,模拟二胡的虚拟演奏。在场景构建的过程中,对人体手部和乐器模型的遮挡问题进行处理,利用深度信息和肤色模型对手部进行分割,然后将分割出来的手部图像绘制在正确的位置,同时对乐器模型绘制的坐标进行调整,使最终结果为看起来用户手持乐器。论文的最后还讨论了系统实现过程中的其他细节问题。