论文部分内容阅读
摘要：科技馆作为向公众普及科学知识，提高国民素质的重要窗口，为了观众更好的动手参与，让观众在娱乐之中思考和学到知识。同时结合体感技术与计算机技术的应用，研究开发出互动体验的创意的科普产品。
关键词：虚拟技术；科普产品；研究
中图分类号：TP391.9文献标识码：A文章编号：1007-9599 (2013) 07-0000-02
本项目在以人机交互，让观众在虚拟场景中进行动感体验。与许多同类型的展项设备相比，该系统在非被动式体验的前提下更注重与观众的创意交互。而本项目不仅可以是观众身临其境的体验真实动感，还能与观众进行创意交互，以感受虚拟现实技术带来的沉浸感。
项目通过使用迭代开发模式，选择微软的XNA技术作为外部呈现的开发引擎，XNA是基于DirectX的专业引擎开发平台，微软公司推出的“通用软件开发平台”开发平台提供了优异的图形及游戏性能，给予XNA中间件架构的软件平台组件灵活，能获取更加稳定和多信息量的输入，适合用于此类科研属性强的项目。经过对截获图像的加工和处理，生成系统理解的指令代码。然后再由XNA 解析图像，识别参与者的动作，终于将参与者的图像和场景输出至屏幕中，解决了人体运动跟踪及体态、人体体态识别、虚拟场景构造、运动建模及碰撞检测等关键技术。
1人体运动跟踪及体态识别技术研究
人体运动跟踪及体态识别技术是自然人机交互的一项重要技术。针对不同的应用，跟踪问题要解决的目标也不一样，一个人体模型包括三个基本组成部分：点、线和体。点表示人体的关节点位置，线是连接关节点之间的骨架结构，体则是附在骨架上的几何模型，用于表示肌肉或皮肤。骨架结构定义了人体模型的运动学特性，而体结构定义了人体的外观特性。通过获取一幅具有20个甚至更多关节点的人体骨架图像，匹配前后图像关节点的偏移量，最终估算出人体的运动方位和动作，形成有效的三维动作输出，最终实现人体运动的实时跟踪。工作流程如图1所示。
图1人体运动追踪工作流程
其中以人体手势的跟踪尤为重要，运动手势跟踪的目的是从图像序列中得到连续的人体各个部位空间位置和姿态信息。为了描述人体手势的各个关节之间的运动，我们采用了多关节的链接形式，将各个肢体按照关节点的链接关系组合起来。
如下图2所示，各个黑色圆点为人体运动的关键节点，一个人体模型就表示为一组参数的组合，这些参数包括表示运动链接关系的各个关节点的自由度，以及表示各个肢体的模型参数，建立如下图所示三维人体骨架模型，实现对手势运动精确、复杂的物理描述。
图2人体手势骨架模型
在获取人体图像信息中的手势动作后，再将其行为转化为计算机指令，如下图3所示。在获取客户基本骨架的基础上，逐步细化并实现对人体细微动作的识别。
图3人体手势识别框架图
为了获得精确的手势运动轨迹，我们在室内简单背景下搭建基于体感技术的实验平台，在实验中录制并生成动作原型库，丰富可识别动作的多样性，增强检测算法的鲁棒性，形成有效快捷的输出。
2虚拟场景构造研究
虚拟场景中的各种实体模型通过模型节点将它们加入，项目采用DirectX、OpenGL、3dsMax、Maya作为建模工具，建模后生成该实体的几何模型文件，几何模型在虚拟场景中的位置放置是用转换节点来实现的，对于静止的景物，进行一次性设定其转换节点中的值域，而对于像虚拟手势一样不断运动的实体，则根据外界测得的数据不断地更新其转换节点的值域，实时地显示其位置。建模的内容包括：
（1）对象中基本的轮廓和形状，以及反映基本表面特点的属性，如颜色；
（2）基元间的连接性，即基元结构或对象的拓扑特性。连接性的描述可以用矩阵、树、网络等；
（3）应用中要求的数值和说明信息。这些信息不一定是与几何形状有关的，例如基元的名称，基元的物理特性等。
建模完后，再对虚拟对象外表进行渲染，使得虚拟互动感更真实，虚拟对象外表的真实感主要取决于它的表面反射和纹理。项目采用了Photoshop 软件进行创建编辑和储存纹理位图，同时也通过照片拍下所需的纹理，然后扫描得到，上传到计算机上，再进行纹理处理，提高真实感。
3关键技术的创新性
3.1体感技术与展示模型呈现的高度结合
项目使用强大的外围呈现引擎，通过丰富的体感输入，结合呈现出更为真实的虚拟现实。借助体感这一全新的输入方式，获取参与者身体关节信息和运动情况，基于对算法捕捉和运动图像的研究和改良，结合外围呈现引擎所能提供的仿真场景，最终体现一个高水准的虚拟现实的科普主题。例如在一个展品互动体验场景中，有一个虚拟人物，它的行为和动作跟玩家是永远保持一致的。观众家可以操控这个虚拟的卡通人物，在游戏世界里进行各种活动，也许触碰某个事物，也许双脚起跳，也许进行某项游戏体验等等。通过驱动三维模型，将虚拟现实和真实世界联系起来，增加体验的趣味性。
3.2自我完善的体感检测系统
在实施项目过程中，通过对参与者动作收集及与展示场景的匹配，优化体感输入检测算法，自我完善体感检测的精准度，能准确得出最适合展示场景及参与者的检测模型。
参考文献：
[1]杨玉辉,金王平,陈默.虚实融合环境下kinect体感交互在虚拟实验中的应用[J].软件导刊•教育技术,2013,3:88-90.
[2]任海兵,祝远新,徐光,林学,张哓平.基于视觉手势识别的研究—综述[J].电子学报.2000,2:118-121.
[3]赵沁平.虚拟现实综述[J].中国科学•信息科学,2009,1:4-45.
[作者简介]马欣凡（1960.7-），女，广东人，广州大学，动漫基地副主任，副教授，硕士，研究方向：动漫设计。
关键词：虚拟技术；科普产品；研究
中图分类号：TP391.9文献标识码：A文章编号：1007-9599 (2013) 07-0000-02
本项目在以人机交互，让观众在虚拟场景中进行动感体验。与许多同类型的展项设备相比，该系统在非被动式体验的前提下更注重与观众的创意交互。而本项目不仅可以是观众身临其境的体验真实动感，还能与观众进行创意交互，以感受虚拟现实技术带来的沉浸感。
项目通过使用迭代开发模式，选择微软的XNA技术作为外部呈现的开发引擎，XNA是基于DirectX的专业引擎开发平台，微软公司推出的“通用软件开发平台”开发平台提供了优异的图形及游戏性能，给予XNA中间件架构的软件平台组件灵活，能获取更加稳定和多信息量的输入，适合用于此类科研属性强的项目。经过对截获图像的加工和处理，生成系统理解的指令代码。然后再由XNA 解析图像，识别参与者的动作，终于将参与者的图像和场景输出至屏幕中，解决了人体运动跟踪及体态、人体体态识别、虚拟场景构造、运动建模及碰撞检测等关键技术。
1人体运动跟踪及体态识别技术研究
人体运动跟踪及体态识别技术是自然人机交互的一项重要技术。针对不同的应用，跟踪问题要解决的目标也不一样，一个人体模型包括三个基本组成部分：点、线和体。点表示人体的关节点位置，线是连接关节点之间的骨架结构，体则是附在骨架上的几何模型，用于表示肌肉或皮肤。骨架结构定义了人体模型的运动学特性，而体结构定义了人体的外观特性。通过获取一幅具有20个甚至更多关节点的人体骨架图像，匹配前后图像关节点的偏移量，最终估算出人体的运动方位和动作，形成有效的三维动作输出，最终实现人体运动的实时跟踪。工作流程如图1所示。
图1人体运动追踪工作流程
其中以人体手势的跟踪尤为重要，运动手势跟踪的目的是从图像序列中得到连续的人体各个部位空间位置和姿态信息。为了描述人体手势的各个关节之间的运动，我们采用了多关节的链接形式，将各个肢体按照关节点的链接关系组合起来。
如下图2所示，各个黑色圆点为人体运动的关键节点，一个人体模型就表示为一组参数的组合，这些参数包括表示运动链接关系的各个关节点的自由度，以及表示各个肢体的模型参数，建立如下图所示三维人体骨架模型，实现对手势运动精确、复杂的物理描述。
图2人体手势骨架模型
在获取人体图像信息中的手势动作后，再将其行为转化为计算机指令，如下图3所示。在获取客户基本骨架的基础上，逐步细化并实现对人体细微动作的识别。
图3人体手势识别框架图
为了获得精确的手势运动轨迹，我们在室内简单背景下搭建基于体感技术的实验平台，在实验中录制并生成动作原型库，丰富可识别动作的多样性，增强检测算法的鲁棒性，形成有效快捷的输出。
2虚拟场景构造研究
虚拟场景中的各种实体模型通过模型节点将它们加入，项目采用DirectX、OpenGL、3dsMax、Maya作为建模工具，建模后生成该实体的几何模型文件，几何模型在虚拟场景中的位置放置是用转换节点来实现的，对于静止的景物，进行一次性设定其转换节点中的值域，而对于像虚拟手势一样不断运动的实体，则根据外界测得的数据不断地更新其转换节点的值域，实时地显示其位置。建模的内容包括：
（1）对象中基本的轮廓和形状，以及反映基本表面特点的属性，如颜色；
（2）基元间的连接性，即基元结构或对象的拓扑特性。连接性的描述可以用矩阵、树、网络等；
（3）应用中要求的数值和说明信息。这些信息不一定是与几何形状有关的，例如基元的名称，基元的物理特性等。
建模完后，再对虚拟对象外表进行渲染，使得虚拟互动感更真实，虚拟对象外表的真实感主要取决于它的表面反射和纹理。项目采用了Photoshop 软件进行创建编辑和储存纹理位图，同时也通过照片拍下所需的纹理，然后扫描得到，上传到计算机上，再进行纹理处理，提高真实感。
3关键技术的创新性
3.1体感技术与展示模型呈现的高度结合
项目使用强大的外围呈现引擎，通过丰富的体感输入，结合呈现出更为真实的虚拟现实。借助体感这一全新的输入方式，获取参与者身体关节信息和运动情况，基于对算法捕捉和运动图像的研究和改良，结合外围呈现引擎所能提供的仿真场景，最终体现一个高水准的虚拟现实的科普主题。例如在一个展品互动体验场景中，有一个虚拟人物，它的行为和动作跟玩家是永远保持一致的。观众家可以操控这个虚拟的卡通人物，在游戏世界里进行各种活动，也许触碰某个事物，也许双脚起跳，也许进行某项游戏体验等等。通过驱动三维模型，将虚拟现实和真实世界联系起来，增加体验的趣味性。
3.2自我完善的体感检测系统
在实施项目过程中，通过对参与者动作收集及与展示场景的匹配，优化体感输入检测算法，自我完善体感检测的精准度，能准确得出最适合展示场景及参与者的检测模型。
参考文献：
[1]杨玉辉,金王平,陈默.虚实融合环境下kinect体感交互在虚拟实验中的应用[J].软件导刊•教育技术,2013,3:88-90.
[2]任海兵,祝远新,徐光,林学,张哓平.基于视觉手势识别的研究—综述[J].电子学报.2000,2:118-121.
[3]赵沁平.虚拟现实综述[J].中国科学•信息科学,2009,1:4-45.
[作者简介]马欣凡（1960.7-），女，广东人，广州大学，动漫基地副主任，副教授，硕士，研究方向：动漫设计。