虚拟现实技术是二十世纪90年代最新发展起来的高级人机交互技术。它是一种有效模拟人在现实世界中的活动诸如听说抓取等行为的高级人机交互技术，是人工智能、计算机图形学、人机接口、网络技术等多种技术的集合。计算机视觉同样是一个处于知识前沿的学科领域，在近三四十年的发展过程当中，被应用到了诸如机器人导航、工业检测、医学图象处理等重要领域学科。而在虚拟现实视觉交互的技术中，利用非接触方式如摄像镜头等观察用户的动作实现人机交互已经成为越来越加广阔前景的三维交互技术。尽管许多研究人员对视觉图象构建三维物体作了很多的探索工作，但是仍然存在很多难题。本文主要是在一个仅有数据手套作为输入的虚拟现实系统里加入计算机视觉系统，把采集到的目标图象特征信息传送给虚拟场景里的虚拟手，实现虚拟手对视觉下目标图象的动态跟踪，并且根据数据手套的手势移动和指令动作实现对虚拟钢琴的演奏。其中的图象特征信息包括图象的二维图象坐标信息和距离信息。这项工作对虚拟场景里虚拟对象与视觉下的图象信息进行融合交互有着重要的意义和应用价值，将会在许多领域有着巨大的应用潜力。