基于视频输入的虚拟交互系统较传统的采用接触式传感器的交互系统输入方便、操作简单，在娱乐业、教育业等领域有着重要的应用前景。视频输入和虚拟场景的融合和实时交互是该类系统实现中的关键问题，在场景是三维的虚拟系统的实现中，这些问题还没有很好的解决方案。本文以虚拟摸鱼系统为例，对这些技术问题作了研究和探讨。 本文从基于视频输入的三维虚拟交互系统运行中的两个主循环-3D应用程序的工作流程和视频流处理循环入手，分析了此类系统的工作原理、运行流程，进而完成了系统设计。 为了实现视频输入和虚拟场景的融合，本文在三维场景中安景了视频呈现表层，并用视频画面作为纹理填充该表层，进而将视频合成到三维场景中。利用纹理的Alpha通道，实现了视频数据的有选择的合成，简化了手轮廓的提取算法。同时借助于纹理，实现了视频数据和三维场景的交互。 交互性是该类系统最实质的特性。本文在模拟摸鱼中的交互时，充分考虑了真实鱼的运动特性，设计了鱼和视频手、场景的碰撞规避算法，以及鱼的转身、摆尾等动作，模拟鱼在水中的游动。在碰撞检测中，为了提高系统的实时交互性，本文采用纹理象素Alpha值检测法和包围盒算法，避免了不规则物体间的检测，大大降低了运算量。 画面逼真形象是该类系统的重要性能指标，但细节的刻画也会严重影响系统运行速度。为了在满足系统实时运算要求的前提下，呈现逼真的三维环境，综合运用多种绘制技术是必要的。本文以模拟水下光影效果为例，介绍了如何利用VertexShader、Alpha混合、雾化处理、动态纹理等技术来实现特殊效果的模拟。 通过本课题的研究，对基于视频输入的虚拟场景交互系统的设计和实现中的一些共性问题作了详细的分析，并给出了解决办法，为今后更深层次和更广泛的研究工作拓展了思路，并提供了实验性的参考。