论文部分内容阅读
近年来,随着广播电视技术和计算机技术的飞速发展,虚拟演播室技术已经逐步被越来越多的媒体和制作公司熟悉和使用。如今的虚拟演播室技术是在传统色键抠像技术的基础上,充分利用了计算机三维图形技术和视频合成技术,根据前景摄像机的变焦、聚焦以及左右摇移等参数,使三维虚拟场景的透视关系与前景保持一致,经过色键合成后,使前景中的人物(道具)看起来完全沉浸于计算机所产生的三维虚拟场景中,而且能在其中运动,从而创造出逼真、立体感很强的电视演播室效果。
一、虚拟演播室核心技术分析
1、摄像机跟踪系统。摄像机跟踪技术是虚拟演播室系统的关键,它是决定着虚拟演播室计算机运算的结果与实际前景参数的误差即系统精度的一个关键环节。摄像机在拍摄过程中有平移X、纵移Y、高度移Z、水平角、俯仰角、镜头变焦(ZOOM)、聚焦(FOCUS)等变化,这些参数的改变会引起所摄图像视野与视角的改变,为了模拟人物所在的三维环境,计算机必须根据这些参数不断调整三维视图。而摄像机跟踪部分的作用正是收取摄像机的位置信息和运动数据,实时的跟踪真实摄像机,以保证前景与计算机背景“联动”。由于这种“联动”是以高速计算机运算的结果,而这种运算永远是存在着一个运算时间,所以这种“联动”是有时间差的。只是设计者保证使这种时间差在一个人眼不易察觉的范围之内,因此要求前景摄像机只能在一个有限的速率内改变位置参数。
目前虚拟演播室的固定机位摄像机跟踪系统主要有以下几种方式。
(1)基于图形分析系统。该方式需要把一个精确的网络图案以两种不同的蓝色形状绘制于蓝背景上,通过摄像机识别这种图案并与计算机跟踪软件预先确定的模型进行对比,以确定物体与虚拟背景的透视关系及距离。鉴于基于图形分析的跟踪方式优点和缺点都十分明显,所以网格识别方案在目前的虚拟演播室系统中使用的不多。
(2)基于传感器的系统。这种摄像机跟踪系统采集摄像机的位置及透视数据,它通常被安装在三角架或基座之上。为测量摄像机的镜头运动参数,需要在摄像机镜头上安装附加装置。聚焦FOCUS和变焦ZOOM传感器,附于镜头的聚焦齿轮和变焦齿轮处。这个装置中包含有传感器和有关电子装置,称为镜头运动参数编码器。这是一种精确的旋转编码器。镜头编码器通过托架与镜头上变焦环和聚焦环的齿轮紧密咬合。当变焦环或聚焦环发生位置变化时,编码器能够检测出上、下、左、右摆动的细微角度并将其编码输出。信息数据通常通过一些串行接口类型如RS-232或RS-422传送给计算机。
摄像机的地面位置X、Y及高度Z也可用类似的编码器方式测量,即用相应的传感器检测摄像机的升降和云台脚的转动,并对其参数值进行编码。X、Y及Z跟踪器允许传感摄像机上、下、左、右全方位的信息,可以装在滑轨或升降架上。用这种方式测行的X、Y、Z参数精度较高,延时短。另外,虚拟演播室移动摄像机定位的方式大致分为两种数型:机械传感器、红外线、网格或超声波发射和接收。
总体来讲基于机械跟踪的识别方式速度很快,方法较为简便直接,是目前国内外虚拟演播室最常用的摄像机跟踪方式。
2、计算机虚拟场景生成系统。
虚拟演播室的背景图像可以是来自录像机或摄像机的活动视频,也可以是静止图像等,但使用最多的是由计算机软件创作的二维或三维图形CG(Computer Graphice),即虚拟场景。虚拟演播室的场景是计算机图形工作站绘制的图形,计算机图形工作站绘图有二维和三维之分,这里就三维渲染的原理进行一些探讨。
三维系统不是对平面图片进行处理,而是调用标准的虚拟场景模型文件:*.3DS或*.WRL文件,即三维系统处理的是三维模型,在专业图形加速平台上根据摄像机推、拉、摇、移的参数的变化进行实时的三维填充和实时渲染。因此说三维系统是一个“实时渲染”系统。由于三维场景的实时渲染需要非常大的计算量,所以,这类系统必须采用功能强大的图形工作站或专用的高速图形处理器作为场景生成装置。
在三维虚拟演播室系统的渲染核心中,CPU在对场景进行处理后,把用三维建模器生成的矢量图形文件的顶点数据送入到渲染核心的图形处理流水线中,这些顶点代表了场景各个三维物体的模型,并且包含多组不同的数据,如顶点坐标、颜色、纹量坐标等。渲染核心首先对这些顶点数据进行最基本的几何变化,另外还对场景中的光源进行处理。经过这一步之后,产生的顶点坐标就是已经经过变换,并且带有光照效果的顶点数据,接下来要进行的是裁剪、三角形设置和光栅化。裁剪就是要将视场外的无用资料去除掉;三角形设置就是用顶点构建成许许多多的三角形;而光栅化就是用像素填充这些三角形。之后,就是进行场景中多纹理的混合处理,再其后就是对场景的光照和阴影进行处理。经过以上流程,就完成了对整个计算机图形的渲染过程,然后,再对这个计算机图形进行视频处理,同样包括对活动视频的视频贴图处理和对同步信号的处理,最后才能输出符合电视标准的视频信号。
三维虚拟演播室系统是构建在OPEN-GL图形渲染平台之上,采用高质量专业3D加速处理卡,才能对三维场景进行实时的渲染。OPEN-GL图形平台是一个标准的图形与硬件的接口函数库,它的前身是SGL Unix操作系统的IRIS上的GL图形库。Open GL目前有超过100个核心函数,它可以利用这些函数创造出各种交互式的三维效果。它是几乎所有专业应用软件采用的唯一3D Apl(应用程序接口)。所以,对于Open GL的支持就成了专业图形芯片的最主要任务,也只有基于Open GL支持的专业3D加速处理卡才能完成三维场景的实时渲染。
三维虚拟场景中的景物具有Z方向的厚度,是立体的,以背景中的一个长方体为例,长方体是一种六面体,其底面和背面一般是看不见的。然而随拍摄角度的不同,有可能看见其正面、侧面和顶面。因此在计算机图形工作站中,其正面、侧面和顶面的图像都分解为像素的形式,保存在存储器中,当摄像机处于任意的角度位置时,计算机图形工作站即进行计算,获得相应的画面。同时,三维的场景中,虚拟景物既能作为真实人物的前景出现,也能作为背景出现,这样在视觉效果上更具纵深感,更加真实。显然对于计算机图形工作站的运算能力、运算速度提出了很高的要求。当然还必须进一步考虑许多细节问题,比如灯光和阴影的问题,当摄像机改变其取向位置时,根据照明条件,阴影部分将发生相应的变化,背景画面应该能够反映出这种变化。
3、视频合成系统。
(1)深度合成技术。虚拟演播室的一个基础就是前景和背景合成的时候,前景的演员可以被背景的内容覆盖,同时为了丰富画面的拍摄效果,还需要考虑虚拟物体的遮挡效果,这一般都采用深度合成技术。所谓深度就是虚拟物体与实际演员的前后遮挡关系,这一种技术要考虑两路键信号的深度信息,就可以让背景的内容在演员前面。这不同于二维图像的层技术。因为是三维图像的各像素都带有深度信息,而且各像素还有与摄像机的距离的信息,由这两部分的信息决定前景和背景的像素的可见性。在实时生成的时候,高性能的终端图形工作站通常使用一个深度缓冲区来贮存像素的深度值,但是在常规演播室里面,实际信号是没有深度信息的。而且也没有一个方法能够实时的赋予前景信号以深度信息,可以采用一个估计值,即估计摄像机与演员之间的距离,前景信号通过色键抠像得到演员部分的信号,先与背景作常规意义上的合成,得到色键序列值,这一部分确定了前景在背景中的位置,再由深度值来进行前后关系的调整,最后输出的深度键值序列就确定了前景和背景的可见性,能够按常规方法合成。这样就可以实现虚拟场景的遮挡效果,使主持人可以自由的在虚拟场景中的虚拟物体之间穿越,大大丰富了拍摄和画面的表现手法。
(2)同步技术。要使前景和背景天衣无缝的合成,既要让两个摄像机的参数保持一致,还要让两个摄像机同步,因为当进行实时合成时,前景信号的每一帧是与背景信号的对应帧合成。背景信号因为摄像机跟踪系统和实时生成都要耗费时间,所以要让前景信号延时来保证与背景信号的同步合成。
二、虚拟演播室技术的应用及选择
任何一种系统最终目的就是为了制作出好的节目,各种类型的节目由于有自身的一些特殊性,针对性地选择合适的系统,对于用户来说可以使用最少的成本来制作出想要的效果。目前适合使用虚拟演播室的节目类型主要有新闻播报、文艺娱乐播报、生活时尚、少儿节目等。其中文艺类节目、生活时尚类节目可以说是目前虚拟演播室技术最多,也是最适合的节目类型,这些类型的节目形式多样化,各个国家、地区、城市由于文化背景不同,风格迥异,现在高端的三维虚拟演播室系统基本上已经可以做到所想即所得,完全可以根据自身的特点做出有特色的场景。
除了以上的节目类型外,利用虚拟演播室技术还可以用于拍摄广告、电视剧,与动作捕捉技术结合做虚拟主持人等多元化的节目。也可以虚实结合,使用一定的实景道具,效果会更加理想。而且,随着技术的发展,将会有更多新的类型的节目产生。
三、综述
虚拟演播室技术的发展史也是计算机技术的发展史,随着计算机的飞速发展,虚拟演播室系统也将会有更大的发展空间。当然虚拟演播室技术受虚拟演播室应用软件的限制还有许多不足之处,现阶段虚拟演播室应用软件还存在着一定的局限,尚不能完全满足节目制作与创新的需要。但虚拟演播室技术在全世界得到了广泛应用,并且还在不断完善发展中,伴随着计算机图形技术的迅猛发展,相信虚拟演播室技术将更加完善,会在广电行业拥有更加广阔的天空。
一、虚拟演播室核心技术分析
1、摄像机跟踪系统。摄像机跟踪技术是虚拟演播室系统的关键,它是决定着虚拟演播室计算机运算的结果与实际前景参数的误差即系统精度的一个关键环节。摄像机在拍摄过程中有平移X、纵移Y、高度移Z、水平角、俯仰角、镜头变焦(ZOOM)、聚焦(FOCUS)等变化,这些参数的改变会引起所摄图像视野与视角的改变,为了模拟人物所在的三维环境,计算机必须根据这些参数不断调整三维视图。而摄像机跟踪部分的作用正是收取摄像机的位置信息和运动数据,实时的跟踪真实摄像机,以保证前景与计算机背景“联动”。由于这种“联动”是以高速计算机运算的结果,而这种运算永远是存在着一个运算时间,所以这种“联动”是有时间差的。只是设计者保证使这种时间差在一个人眼不易察觉的范围之内,因此要求前景摄像机只能在一个有限的速率内改变位置参数。
目前虚拟演播室的固定机位摄像机跟踪系统主要有以下几种方式。
(1)基于图形分析系统。该方式需要把一个精确的网络图案以两种不同的蓝色形状绘制于蓝背景上,通过摄像机识别这种图案并与计算机跟踪软件预先确定的模型进行对比,以确定物体与虚拟背景的透视关系及距离。鉴于基于图形分析的跟踪方式优点和缺点都十分明显,所以网格识别方案在目前的虚拟演播室系统中使用的不多。
(2)基于传感器的系统。这种摄像机跟踪系统采集摄像机的位置及透视数据,它通常被安装在三角架或基座之上。为测量摄像机的镜头运动参数,需要在摄像机镜头上安装附加装置。聚焦FOCUS和变焦ZOOM传感器,附于镜头的聚焦齿轮和变焦齿轮处。这个装置中包含有传感器和有关电子装置,称为镜头运动参数编码器。这是一种精确的旋转编码器。镜头编码器通过托架与镜头上变焦环和聚焦环的齿轮紧密咬合。当变焦环或聚焦环发生位置变化时,编码器能够检测出上、下、左、右摆动的细微角度并将其编码输出。信息数据通常通过一些串行接口类型如RS-232或RS-422传送给计算机。
摄像机的地面位置X、Y及高度Z也可用类似的编码器方式测量,即用相应的传感器检测摄像机的升降和云台脚的转动,并对其参数值进行编码。X、Y及Z跟踪器允许传感摄像机上、下、左、右全方位的信息,可以装在滑轨或升降架上。用这种方式测行的X、Y、Z参数精度较高,延时短。另外,虚拟演播室移动摄像机定位的方式大致分为两种数型:机械传感器、红外线、网格或超声波发射和接收。
总体来讲基于机械跟踪的识别方式速度很快,方法较为简便直接,是目前国内外虚拟演播室最常用的摄像机跟踪方式。
2、计算机虚拟场景生成系统。
虚拟演播室的背景图像可以是来自录像机或摄像机的活动视频,也可以是静止图像等,但使用最多的是由计算机软件创作的二维或三维图形CG(Computer Graphice),即虚拟场景。虚拟演播室的场景是计算机图形工作站绘制的图形,计算机图形工作站绘图有二维和三维之分,这里就三维渲染的原理进行一些探讨。
三维系统不是对平面图片进行处理,而是调用标准的虚拟场景模型文件:*.3DS或*.WRL文件,即三维系统处理的是三维模型,在专业图形加速平台上根据摄像机推、拉、摇、移的参数的变化进行实时的三维填充和实时渲染。因此说三维系统是一个“实时渲染”系统。由于三维场景的实时渲染需要非常大的计算量,所以,这类系统必须采用功能强大的图形工作站或专用的高速图形处理器作为场景生成装置。
在三维虚拟演播室系统的渲染核心中,CPU在对场景进行处理后,把用三维建模器生成的矢量图形文件的顶点数据送入到渲染核心的图形处理流水线中,这些顶点代表了场景各个三维物体的模型,并且包含多组不同的数据,如顶点坐标、颜色、纹量坐标等。渲染核心首先对这些顶点数据进行最基本的几何变化,另外还对场景中的光源进行处理。经过这一步之后,产生的顶点坐标就是已经经过变换,并且带有光照效果的顶点数据,接下来要进行的是裁剪、三角形设置和光栅化。裁剪就是要将视场外的无用资料去除掉;三角形设置就是用顶点构建成许许多多的三角形;而光栅化就是用像素填充这些三角形。之后,就是进行场景中多纹理的混合处理,再其后就是对场景的光照和阴影进行处理。经过以上流程,就完成了对整个计算机图形的渲染过程,然后,再对这个计算机图形进行视频处理,同样包括对活动视频的视频贴图处理和对同步信号的处理,最后才能输出符合电视标准的视频信号。
三维虚拟演播室系统是构建在OPEN-GL图形渲染平台之上,采用高质量专业3D加速处理卡,才能对三维场景进行实时的渲染。OPEN-GL图形平台是一个标准的图形与硬件的接口函数库,它的前身是SGL Unix操作系统的IRIS上的GL图形库。Open GL目前有超过100个核心函数,它可以利用这些函数创造出各种交互式的三维效果。它是几乎所有专业应用软件采用的唯一3D Apl(应用程序接口)。所以,对于Open GL的支持就成了专业图形芯片的最主要任务,也只有基于Open GL支持的专业3D加速处理卡才能完成三维场景的实时渲染。
三维虚拟场景中的景物具有Z方向的厚度,是立体的,以背景中的一个长方体为例,长方体是一种六面体,其底面和背面一般是看不见的。然而随拍摄角度的不同,有可能看见其正面、侧面和顶面。因此在计算机图形工作站中,其正面、侧面和顶面的图像都分解为像素的形式,保存在存储器中,当摄像机处于任意的角度位置时,计算机图形工作站即进行计算,获得相应的画面。同时,三维的场景中,虚拟景物既能作为真实人物的前景出现,也能作为背景出现,这样在视觉效果上更具纵深感,更加真实。显然对于计算机图形工作站的运算能力、运算速度提出了很高的要求。当然还必须进一步考虑许多细节问题,比如灯光和阴影的问题,当摄像机改变其取向位置时,根据照明条件,阴影部分将发生相应的变化,背景画面应该能够反映出这种变化。
3、视频合成系统。
(1)深度合成技术。虚拟演播室的一个基础就是前景和背景合成的时候,前景的演员可以被背景的内容覆盖,同时为了丰富画面的拍摄效果,还需要考虑虚拟物体的遮挡效果,这一般都采用深度合成技术。所谓深度就是虚拟物体与实际演员的前后遮挡关系,这一种技术要考虑两路键信号的深度信息,就可以让背景的内容在演员前面。这不同于二维图像的层技术。因为是三维图像的各像素都带有深度信息,而且各像素还有与摄像机的距离的信息,由这两部分的信息决定前景和背景的像素的可见性。在实时生成的时候,高性能的终端图形工作站通常使用一个深度缓冲区来贮存像素的深度值,但是在常规演播室里面,实际信号是没有深度信息的。而且也没有一个方法能够实时的赋予前景信号以深度信息,可以采用一个估计值,即估计摄像机与演员之间的距离,前景信号通过色键抠像得到演员部分的信号,先与背景作常规意义上的合成,得到色键序列值,这一部分确定了前景在背景中的位置,再由深度值来进行前后关系的调整,最后输出的深度键值序列就确定了前景和背景的可见性,能够按常规方法合成。这样就可以实现虚拟场景的遮挡效果,使主持人可以自由的在虚拟场景中的虚拟物体之间穿越,大大丰富了拍摄和画面的表现手法。
(2)同步技术。要使前景和背景天衣无缝的合成,既要让两个摄像机的参数保持一致,还要让两个摄像机同步,因为当进行实时合成时,前景信号的每一帧是与背景信号的对应帧合成。背景信号因为摄像机跟踪系统和实时生成都要耗费时间,所以要让前景信号延时来保证与背景信号的同步合成。
二、虚拟演播室技术的应用及选择
任何一种系统最终目的就是为了制作出好的节目,各种类型的节目由于有自身的一些特殊性,针对性地选择合适的系统,对于用户来说可以使用最少的成本来制作出想要的效果。目前适合使用虚拟演播室的节目类型主要有新闻播报、文艺娱乐播报、生活时尚、少儿节目等。其中文艺类节目、生活时尚类节目可以说是目前虚拟演播室技术最多,也是最适合的节目类型,这些类型的节目形式多样化,各个国家、地区、城市由于文化背景不同,风格迥异,现在高端的三维虚拟演播室系统基本上已经可以做到所想即所得,完全可以根据自身的特点做出有特色的场景。
除了以上的节目类型外,利用虚拟演播室技术还可以用于拍摄广告、电视剧,与动作捕捉技术结合做虚拟主持人等多元化的节目。也可以虚实结合,使用一定的实景道具,效果会更加理想。而且,随着技术的发展,将会有更多新的类型的节目产生。
三、综述
虚拟演播室技术的发展史也是计算机技术的发展史,随着计算机的飞速发展,虚拟演播室系统也将会有更大的发展空间。当然虚拟演播室技术受虚拟演播室应用软件的限制还有许多不足之处,现阶段虚拟演播室应用软件还存在着一定的局限,尚不能完全满足节目制作与创新的需要。但虚拟演播室技术在全世界得到了广泛应用,并且还在不断完善发展中,伴随着计算机图形技术的迅猛发展,相信虚拟演播室技术将更加完善,会在广电行业拥有更加广阔的天空。