虚拟场景正越来越多地被用于游戏娱乐、军事训练、广告与电影制作、旅游等各个领域。目前虚拟场景构建主要有两种方法,一种是通过三维建模技术来渲染生成,但是由于技术的限制,该方法暂时存在构建代价高、所需时间长,以及生成的虚拟场景不够真实等缺点；另一种是基于视频的虚拟场景构建,该方法具有素材丰富、细节真实等优点,但同时也存在处理困难等缺点。为了方便地利用已有视频素材来生成虚拟场景,我们需要一个高效的基于视频素材的虚拟场景生成系统。首先,本文分析了基于视频素材的虚拟场景构建系统所需的各项基本功能,并给出了各功能模块的设计。其中,为了高效地管理大量视频数据所需的视频素材管理系统,我们采用了一个层次化的视频数据关系模型,基于该模型以及视频切分、视频自动分类、视频对象提取技术,构建了我们的视频数据库,它能有效地管理视频素材,并支持视频的快速检索与浏览。本文还分析了系统各功能模块之间的接口及系统整合设计方案。其次,为了高效地生成虚拟场景,本文提出了视频融合过程中的前景对象编辑方法,包括调整对象的大小、旋转角度以及运动路径等参数,其中我们重点研究了怎样绘制对象的运动路径,从而能使得对象的运动与背景场景相融洽。接着,为了使得生成的虚拟场景更具有真实感,我们研究了对象视频存在抖动现象时会对视频融合产生的影响,并提出一个基于对象alpha视频轮廓曲线特征匹配的视频去抖动方法来消除对象视频的抖动,能得到比较好的去抖动效果。最后,本文给出了基于视频素材的虚拟场景生成系统实现,展示了其核心模块。该系统能够有效地管理视频数据,并能够方便地进行视频对象编辑与融合,生成虚拟场景视频。