论文部分内容阅读
传统的虚拟仿真实验大多依赖于鼠标键盘的交互方式,并且大部分只允许单人操作。如何开发一款高沉浸感,以体感交互的方式进行操作,允许多人同时操作,实现团队协作的虚拟仿真实验成为热点问题。 本文研究了机器学习领域的Kinect体感交互技术,该技术可以获取空间深度图像、分离人体图像、确定人体骨骼信息,最终捕捉人体动作。在由Unity3D搭建的虚拟环境中调用并处理这些信息后,用户可以通过体感的方式对虚拟实验进行操作。这种自然人机交互方式给用户带来更高的真实感和沉浸感。同时,本文在虚拟仿真实验中引入远程过程调用(Remote Process Call,RPC)技术,实现了虚拟实验系统在局域网范围内的服务器与客户端相连接功能,实验者将自己的操作实时同步到其他实验者的实验环境中。弥补了体感虚拟实验在多人协作方面的空缺。本文的研究内容包括:分析Kinect体感技术基本原理及其相关应用,以及体感虚拟实验中网络技术的比较与选择,体感多人虚拟实验基本框架,具体工程应用评测四个方面: 首先,详细分析了Kinect人体姿势识别的技术原理,包括基于Light Coding技术的深度图像采集和生成、基于随机决策森林的人体部位分类方案,以及骨骼关节定位方案。扼要介绍了如何调用Kinect SDK for Windows。调研了海内外开发者在基于Kinect的各行业的应用研究情况。 其次,分析研究了能够适用于虚拟实验的网络技术,包括Socket和RPC技术。分别分析了它们的优缺点及应用场合。结合体感虚拟实验对于网络通信的实际需要,确定应用RPC技术作为体感虚拟实验多人通信模块的核心技术。并阐述了基于Unity3D引擎的远程过程调用的具体实现。 再次,详细阐述了基于Kinect体感技术多人在线虚拟实验的系统框架及各模块的功能作用。 最后,为验证本文构想的可行性,设计并实现了一款基于Kinect体感技术多人在线的虚拟化学实验。经过评测,该虚拟实验具有效果逼真、可自然人机交互以及支持多人在线同时操作的特点,具有良好的实际使用价值。