论文部分内容阅读
摘 要: 虚拟现实技术已经广泛应用于各个行业领域,虚拟教室是虚拟现实技术在现代教育中的应用之一,能够给学生以及使用者创建一个身临其境的环境。以南充职业技术学院语音教室的实景为研究对象,以建立南充职业技术学院虚拟语音教室为目的,重点探讨基于图形图像的建模技术,并对其交互式实验操作方式进行初步探索和研究,并且重点分析虚拟场景中的3D音频及探讨其实现,以期为其他虚拟现实中的场景建模提供参考。
关键词: 图形图像三维建模技术;虚拟场景;3D音频
中图分类号:TP391.9 文献标识码:A 文章编号:1671-7597(2011)0910050-02
0 引言
虚拟学习环境就是利用计算机、通信、仿真、人工智能技术等进行交互式学习的一种模式。[1]虚拟学习环境概念,用来描述一个计算机网络化的虚拟环境。
构建虚拟教室的过程中三维的场景建模是关键工作,它占据整个工程工作量的绝大部分,是建立立体教室的关键技术,虚拟场景建模的好坏直接决定了虚拟场景的沉浸感和真实感,选择正确的建模技术与方法能大大提高工作效率和质量。
1 虚拟建模技术
在地理系统中,地理对象根据在空间维上的分布特性,可分为两类:一类以场为基础的对象在空间上连续分布,称为地形景观对象,如地形、土壤种类分布等。另一类是以离散实体为特性的对象,以独立的个体而存在,称为地物对象,如建筑物、树、电话亭等。[2]这两部分组成虚拟语音教室的场景模型。
1.1 基于几何模型的建模技术
1.1.1 基于几何模型建模技术的实现方式。基于几何模型的建模技术即基于图形的建模技术,是一种通过计算机表示,控制,分析和输出来构造三维虚拟模型的技术。它的实现方式实质上是利用已有三维建模软件对虚拟实体和虚拟环境的外观进行建模。
首先是对真实场景进行抽象,其次对纹理映射及控制参数进行设定,包括位置、光照等信息以提高真实感,最后在输出设备上实时渲染视景画面。
1.1.2 基于几何模型的建模技术优缺点。构造的三维模型精确、细腻、逼真,具有使用户与虚拟实体进行交互和对虚拟对象的提取深度信息的功能。并且在规划设计阶段,只需按照相关图纸对应比例与尺寸,一样能够完成场景的构建。
其不足是工作量大,扩展性差,并且很难同时兼顾模型的真实性与实时性。此外,因为虚拟场景的真实感是建立在几何物体表面材质的光照模型上,场景实时渲染绘制时对计算机软硬件要求比较高。
1.2 基于图像的虚拟建模技術
1.2.1 基于图像建模技术的实现方式。基于图像建模技术是将相机或摄像机录入的基础信息,经过处理生成真实的全景图像,采用图像拼接的技术把全景图像构建成为虚拟实景空间。其应用较多的关键技术是全景图生成技术。全景图是一种的宽视角图像,其关键是图像拼接,利用(摄)相机平移或旋转得到的部分重叠的图像样本生成一个能覆盖大范围场景甚至首尾衔接的全方位图像场景。
1.2.2 基于图像建模技术的优缺点。无论是生成的图像还是拍摄的照片都可以作为预先存储的图像并且混用,其效果只与产生画面的分辨率有关,更能使人有身临其境的感觉;具备扩展性,当节点发生变化时,模型可随时调整。此外,对计算机资源要求不高,数据量小,实用性好,能较好地实现实物虚化,尤其适用于难以用CAD方法建立真实感模型的自然环境。
但是同时也不可避免的存在缺陷。除了需要大量存储空间和高性能的拍摄装备外,用户不容易与这些二维对象进行交互。当没有真实场景或处于设计规划阶段时,不能使用该方法。
1.3 基于几何与图像混合的虚拟建模技术
虚拟场景的建立是虚拟现实系统的关键,从国内外研究的进展情况来看, 基于图形与图像混合的虚拟建模、人工智能与感知理论等几个方向发展。在实际操作中能对前两种方式综合运用,扬长避短,取得较理想的结果。基于图像的方法可以在简单建模的情况下取得最真实的效果,基于图形的建模技术则用于用户的交互部分。
因此在本虚拟教室系统中最主要构建三维场景模型的方法采用基于图形与图像混合的虚拟建模技术来建立。
2 虚拟语音室三维场景建模
2.1 场景的层次结构
首先根据虚拟语音环境中空间实体的几何位置以及相互间的结构关系分解为树状层次结构,将场景中的实体模型层次结构划分后,能将复杂模型自顶向下分解成若干基本单元,可以方便地进行实体模型的组织和管理以减轻建模工作量。
2.2 场景形体建模
以构建的场景模型层次结构为基础来完成虚拟教室实体三维模型的构造,如教室中桌椅、窗户、吊灯等基本模型。对于简单的虚拟场景对象,采用VRML来构建模型,并通过材质、纹理等渲染方法加工使其更加逼真。对于相对复杂的虚拟场景对象,采用3DSMAX构建模型之后转换成VRML文件格式输出。
按照模型的层次结构来分解实体,使构建的虚拟教室更加具有真实感。同时,语音设备采用单独构建场景的方式来优化虚拟场景文件。基本形态构建完成后,再对实体的每一部分分别建模,最后再利用VRML的内联节点Inline将所有的语音座位按照其相对位置坐标逐一整合到虚拟教室中。VRML提供的和浏览者进行交互的空间传感节点,可有效创建出交互性很强的三维展示效果。
2.3 场景的优化处理
优化技术是三维虚拟建模过程中至关重要的一个环节。在创建复杂的VRML场景模型过程中可能产生大量的冗余数据,除了不利于网络传输,也会影响场景的渲染速度而使场景失去真实感。因此首先考虑的就是压缩VRML场景文件和使用原型语句引用同类实例模型;同时也包括对结构、纹理和模型的优化,包括减少多边形数量、用纹理覆盖多边形造型和合理使用光源。此外还可以在建模过程中将起辅助作用的模型导入到当前场景中来,这种外部引用技术在一定程度上也能节省内存、提高渲染速度以及机器运行速度。
3 虚拟场景中的3D音频
虚拟语音教室除了有效设计虚拟场景的交互方式,还要有3D音频效果,通过语音提示和模拟来产生更具真实感的语音教室效果。这里重点分析虚拟场景中的3D音频的分析与实现。
3.1 3D定位
在虚拟语音系统中,声音信息一方面可以为实时达到声像融合,另一方面可使人可监控、识别来自对应方位的信息。利用数字多媒体技术开发实时计算机音频系统,情景或者教学发生变化以做提示才能产生真实三维声音效果。3D声音定位在虚拟场景中的基本原理包括:耳间时延量差、两耳音量差、消音、耳廓效应。
我们可以借助采用的头部相关传输函数算法的声卡芯片来弥补方位变化所形成的差异,利用声音芯片进行处理然后发送到新的环绕扬声器。实际操作中我们借助多扬声器配置来解决。
3.2 音效的距离效果
在虚拟场景中的远距离时音量逐渐变小,就需要确定出一个距离下限,使声音值在该下限值范围之内。随着距离递远使听到的音效音量级就按照距离的比例递减。目前可以借助动态的3DEAXHFRolIoff和Macro Fx技术,前者与真实的声音效果类似;后者使音源在听众耳朵里听起来特别近,更多用于近声场。
3.3 音频的环境模拟
为了更能让3D音效完全和虚拟场景融合,必须使计算环境和声源交互作用,包括声音的封闭效果、声音的障碍效果、声音的排斥效果、声波追踪技术以及多重声音效果。上述音频都需要声波传播计算,虚拟场景中用于声音计算的几何通常非常简单,因为三维几何声波传播计算颇耗费资源,所以最简单的三维音效——立体声是我们的选择。
3.4 Direct sound模拟3D音效
现在可供选择的音频引擎并不多,应用最广泛的就是Direct Sound。与一般的Windows API提供的声音播放函数不同,它可实现多个声音的混合播放。它也提供了3D声效算法,模拟出真实的3D立体声,可充分使用声卡的内存资源。
3.5 利用DirectSound8结合VB进行声音播放的实现
利用DirectX8.0可以实现虚拟场景的3D音频效果,使声音听上去更为真实。首先加载DirectX8.0组件库到VB设计环境中,新建DirectX对象实例,进行声音的播放前设置同应用程序进程的合作模式。在VB中的实现代码为:“Mound.SetCooperativeLevelForml.hWnd,DSSCLPRIORITY”;在全局DSBUFFERDESC结构中描述主缓冲区的格式,之后对其进行填充,调用DsBUFFERDEsc结构作为函数参数,其作用是设定缓冲区控制选项以控制声音播放的具体模式。最后,由于Di rectsound8不提供对象Play,因此必须要创建类型为DirectSoundSecondary-Buffer8的对象数组来混音,该对象是一个声音缓冲区对象,我们利用该对象的Play方法才能实现声音的播放。我们可以使用Directsound8对象的create sound Buffer From File、create sound Buffer From Resource、create sound-Buffer等方法。
4 结语
本文的研究对虚拟现实技术的应用以及提高远程的教学效率均起到了有效的促进作用,虚拟语音教室对于教师和技术人员进行岗前教育培训,同时也为实现虚拟校园的漫游奠定了基础。语音课堂是部分专业教学任务中不可或缺的组成部分。虚拟语音教室的开设无疑会更加丰富实验类型和项目,在实际教学领域中的应用,必将更加广泛与深入。如何结合本校虚拟语音教室的设计以及自身特点,来解决实际操作中出现的问題和希望实现的功能,将是我们今后的研究方向。虚拟现实技术作为校园规划和设计的新方法有着良好的发展和应用前景,但以虚拟现实为基础的虚拟系统要满足人们的需要还有很长的路要走。
参考文献:
[1]蒲利君,论虚拟现实技术在教学中的应用[J].中国成人教育,2005(3):76-79.
[2]网络虚拟校园GIS的科学构想与设计系统结构—以许昌学院为例李长坡,《计算机与信息技术》,2006年,21期.
[3]杨卫平、禹亮、张伟等,基于X3D的网络虚拟实验系统的研究[J].电脑知识与技术(学术交流),2007(8):400-413.
[4]刘淑芬、曾红、刘辉,虚拟现实技术的应用与研究[J].机械研究与应用,2009(3).
[5]盛庆红,基于图像的3D建模综述[J].测绘科技情报,2007(04).
[6]陈阿林、胡朝晖、祁相志,校园虚拟现实三维场景建模技术及实现方法研究[J].重庆师范大学学报(自然科学版),2007,24(4).
关键词: 图形图像三维建模技术;虚拟场景;3D音频
中图分类号:TP391.9 文献标识码:A 文章编号:1671-7597(2011)0910050-02
0 引言
虚拟学习环境就是利用计算机、通信、仿真、人工智能技术等进行交互式学习的一种模式。[1]虚拟学习环境概念,用来描述一个计算机网络化的虚拟环境。
构建虚拟教室的过程中三维的场景建模是关键工作,它占据整个工程工作量的绝大部分,是建立立体教室的关键技术,虚拟场景建模的好坏直接决定了虚拟场景的沉浸感和真实感,选择正确的建模技术与方法能大大提高工作效率和质量。
1 虚拟建模技术
在地理系统中,地理对象根据在空间维上的分布特性,可分为两类:一类以场为基础的对象在空间上连续分布,称为地形景观对象,如地形、土壤种类分布等。另一类是以离散实体为特性的对象,以独立的个体而存在,称为地物对象,如建筑物、树、电话亭等。[2]这两部分组成虚拟语音教室的场景模型。
1.1 基于几何模型的建模技术
1.1.1 基于几何模型建模技术的实现方式。基于几何模型的建模技术即基于图形的建模技术,是一种通过计算机表示,控制,分析和输出来构造三维虚拟模型的技术。它的实现方式实质上是利用已有三维建模软件对虚拟实体和虚拟环境的外观进行建模。
首先是对真实场景进行抽象,其次对纹理映射及控制参数进行设定,包括位置、光照等信息以提高真实感,最后在输出设备上实时渲染视景画面。
1.1.2 基于几何模型的建模技术优缺点。构造的三维模型精确、细腻、逼真,具有使用户与虚拟实体进行交互和对虚拟对象的提取深度信息的功能。并且在规划设计阶段,只需按照相关图纸对应比例与尺寸,一样能够完成场景的构建。
其不足是工作量大,扩展性差,并且很难同时兼顾模型的真实性与实时性。此外,因为虚拟场景的真实感是建立在几何物体表面材质的光照模型上,场景实时渲染绘制时对计算机软硬件要求比较高。
1.2 基于图像的虚拟建模技術
1.2.1 基于图像建模技术的实现方式。基于图像建模技术是将相机或摄像机录入的基础信息,经过处理生成真实的全景图像,采用图像拼接的技术把全景图像构建成为虚拟实景空间。其应用较多的关键技术是全景图生成技术。全景图是一种的宽视角图像,其关键是图像拼接,利用(摄)相机平移或旋转得到的部分重叠的图像样本生成一个能覆盖大范围场景甚至首尾衔接的全方位图像场景。
1.2.2 基于图像建模技术的优缺点。无论是生成的图像还是拍摄的照片都可以作为预先存储的图像并且混用,其效果只与产生画面的分辨率有关,更能使人有身临其境的感觉;具备扩展性,当节点发生变化时,模型可随时调整。此外,对计算机资源要求不高,数据量小,实用性好,能较好地实现实物虚化,尤其适用于难以用CAD方法建立真实感模型的自然环境。
但是同时也不可避免的存在缺陷。除了需要大量存储空间和高性能的拍摄装备外,用户不容易与这些二维对象进行交互。当没有真实场景或处于设计规划阶段时,不能使用该方法。
1.3 基于几何与图像混合的虚拟建模技术
虚拟场景的建立是虚拟现实系统的关键,从国内外研究的进展情况来看, 基于图形与图像混合的虚拟建模、人工智能与感知理论等几个方向发展。在实际操作中能对前两种方式综合运用,扬长避短,取得较理想的结果。基于图像的方法可以在简单建模的情况下取得最真实的效果,基于图形的建模技术则用于用户的交互部分。
因此在本虚拟教室系统中最主要构建三维场景模型的方法采用基于图形与图像混合的虚拟建模技术来建立。
2 虚拟语音室三维场景建模
2.1 场景的层次结构
首先根据虚拟语音环境中空间实体的几何位置以及相互间的结构关系分解为树状层次结构,将场景中的实体模型层次结构划分后,能将复杂模型自顶向下分解成若干基本单元,可以方便地进行实体模型的组织和管理以减轻建模工作量。
2.2 场景形体建模
以构建的场景模型层次结构为基础来完成虚拟教室实体三维模型的构造,如教室中桌椅、窗户、吊灯等基本模型。对于简单的虚拟场景对象,采用VRML来构建模型,并通过材质、纹理等渲染方法加工使其更加逼真。对于相对复杂的虚拟场景对象,采用3DSMAX构建模型之后转换成VRML文件格式输出。
按照模型的层次结构来分解实体,使构建的虚拟教室更加具有真实感。同时,语音设备采用单独构建场景的方式来优化虚拟场景文件。基本形态构建完成后,再对实体的每一部分分别建模,最后再利用VRML的内联节点Inline将所有的语音座位按照其相对位置坐标逐一整合到虚拟教室中。VRML提供的和浏览者进行交互的空间传感节点,可有效创建出交互性很强的三维展示效果。
2.3 场景的优化处理
优化技术是三维虚拟建模过程中至关重要的一个环节。在创建复杂的VRML场景模型过程中可能产生大量的冗余数据,除了不利于网络传输,也会影响场景的渲染速度而使场景失去真实感。因此首先考虑的就是压缩VRML场景文件和使用原型语句引用同类实例模型;同时也包括对结构、纹理和模型的优化,包括减少多边形数量、用纹理覆盖多边形造型和合理使用光源。此外还可以在建模过程中将起辅助作用的模型导入到当前场景中来,这种外部引用技术在一定程度上也能节省内存、提高渲染速度以及机器运行速度。
3 虚拟场景中的3D音频
虚拟语音教室除了有效设计虚拟场景的交互方式,还要有3D音频效果,通过语音提示和模拟来产生更具真实感的语音教室效果。这里重点分析虚拟场景中的3D音频的分析与实现。
3.1 3D定位
在虚拟语音系统中,声音信息一方面可以为实时达到声像融合,另一方面可使人可监控、识别来自对应方位的信息。利用数字多媒体技术开发实时计算机音频系统,情景或者教学发生变化以做提示才能产生真实三维声音效果。3D声音定位在虚拟场景中的基本原理包括:耳间时延量差、两耳音量差、消音、耳廓效应。
我们可以借助采用的头部相关传输函数算法的声卡芯片来弥补方位变化所形成的差异,利用声音芯片进行处理然后发送到新的环绕扬声器。实际操作中我们借助多扬声器配置来解决。
3.2 音效的距离效果
在虚拟场景中的远距离时音量逐渐变小,就需要确定出一个距离下限,使声音值在该下限值范围之内。随着距离递远使听到的音效音量级就按照距离的比例递减。目前可以借助动态的3DEAXHFRolIoff和Macro Fx技术,前者与真实的声音效果类似;后者使音源在听众耳朵里听起来特别近,更多用于近声场。
3.3 音频的环境模拟
为了更能让3D音效完全和虚拟场景融合,必须使计算环境和声源交互作用,包括声音的封闭效果、声音的障碍效果、声音的排斥效果、声波追踪技术以及多重声音效果。上述音频都需要声波传播计算,虚拟场景中用于声音计算的几何通常非常简单,因为三维几何声波传播计算颇耗费资源,所以最简单的三维音效——立体声是我们的选择。
3.4 Direct sound模拟3D音效
现在可供选择的音频引擎并不多,应用最广泛的就是Direct Sound。与一般的Windows API提供的声音播放函数不同,它可实现多个声音的混合播放。它也提供了3D声效算法,模拟出真实的3D立体声,可充分使用声卡的内存资源。
3.5 利用DirectSound8结合VB进行声音播放的实现
利用DirectX8.0可以实现虚拟场景的3D音频效果,使声音听上去更为真实。首先加载DirectX8.0组件库到VB设计环境中,新建DirectX对象实例,进行声音的播放前设置同应用程序进程的合作模式。在VB中的实现代码为:“Mound.SetCooperativeLevelForml.hWnd,DSSCLPRIORITY”;在全局DSBUFFERDESC结构中描述主缓冲区的格式,之后对其进行填充,调用DsBUFFERDEsc结构作为函数参数,其作用是设定缓冲区控制选项以控制声音播放的具体模式。最后,由于Di rectsound8不提供对象Play,因此必须要创建类型为DirectSoundSecondary-Buffer8的对象数组来混音,该对象是一个声音缓冲区对象,我们利用该对象的Play方法才能实现声音的播放。我们可以使用Directsound8对象的create sound Buffer From File、create sound Buffer From Resource、create sound-Buffer等方法。
4 结语
本文的研究对虚拟现实技术的应用以及提高远程的教学效率均起到了有效的促进作用,虚拟语音教室对于教师和技术人员进行岗前教育培训,同时也为实现虚拟校园的漫游奠定了基础。语音课堂是部分专业教学任务中不可或缺的组成部分。虚拟语音教室的开设无疑会更加丰富实验类型和项目,在实际教学领域中的应用,必将更加广泛与深入。如何结合本校虚拟语音教室的设计以及自身特点,来解决实际操作中出现的问題和希望实现的功能,将是我们今后的研究方向。虚拟现实技术作为校园规划和设计的新方法有着良好的发展和应用前景,但以虚拟现实为基础的虚拟系统要满足人们的需要还有很长的路要走。
参考文献:
[1]蒲利君,论虚拟现实技术在教学中的应用[J].中国成人教育,2005(3):76-79.
[2]网络虚拟校园GIS的科学构想与设计系统结构—以许昌学院为例李长坡,《计算机与信息技术》,2006年,21期.
[3]杨卫平、禹亮、张伟等,基于X3D的网络虚拟实验系统的研究[J].电脑知识与技术(学术交流),2007(8):400-413.
[4]刘淑芬、曾红、刘辉,虚拟现实技术的应用与研究[J].机械研究与应用,2009(3).
[5]盛庆红,基于图像的3D建模综述[J].测绘科技情报,2007(04).
[6]陈阿林、胡朝晖、祁相志,校园虚拟现实三维场景建模技术及实现方法研究[J].重庆师范大学学报(自然科学版),2007,24(4).