论文部分内容阅读
虚拟装配是虚拟现实技术在制造业的典型应用。它利用虚拟现实技术创造出与装配环境一致的虚拟环境,用户借助虚拟现实输入、输出设备可在其中完成装配与拆卸任务。虚拟手交互技术是虚拟装配中很重要的一个组成部分,也是影响沉浸感和交互感的关键因素,研究如何使用户能以逼真、自然的方式在虚拟环境中完成交互过程至关重要。本文在虚拟装配的应用环境下,研究基于数据手套的虚拟手交互接口问题。
沉浸式虚拟装配是一种“人在回路”的虚拟现实系统,可用于大型设备的设计及装配人员的培训等领域。作为其关键技术之一,如何实现“真实”人对“虚拟”物体的操作,仍是一项具有挑战性的工作。针对这一问题,本文对物体建模技术、虚拟手操作技术、手势识别以及虚拟手交互接口开展了具体研究,提出了一种基于交互区的物体交互特征建模方法和虚拟手交互接口,旨在为虚拟装配提供一种自然、高效的人机交互方式。具体研究成果如下:
1.提出了一种基于交互区的交互特征建模方法
已有的交互特征建模方法在重用性、交互丰富性以及易用性方面存在问题。第一,沉浸式交互大多是针对具体物体进行,交互过程的重用性较差,不利于交互物体的扩充;第二,传统虚拟手交互主要研究基于人手的直接交互,对于使用工具的间接交互很少考虑;第三,交互特征建模过程较为繁琐,建模者需要一定的专业知识,如脚本的编写,复杂物体交互面的指定等。
针对上述问题,本文提出了一种基于交互区的交互特征建模方法。交互特征包括交互区、交互状态和交互控制器三部分。交互区是具有辅助交互和交互监测功能的,用于指示虚拟手交互可发生的位置区域,包括感知交互区、探测交互区和放置交互区。这三类交互区功能有所不同,通过交互区间的信息传递和监测,完成对用户行为的理解,其中探测区的提出,统一了人手的直接交互和使用工具的间接交互。通过对交互区进行参数化设置,可方便地实现用户与物体的不同交互,也极大地简化了交互特征建模过程。交互状态是虚拟手交互过程中物体所处的状态,本文按照交互过程相似性对物体进行分类,实现了人与物体间交互过程的极大重用。交互控制器是连接用户、交互区和交互物体三者的纽带,通过它来控制交互过程中交互区的监测和物体的状态转换。
2.提出了一种通用的基于虚拟手的交互接口
在无触觉及力反馈的虚拟环境中,数据手套的数据精度将对用户的交互产生直接的影响。此外,交互接口的高效性、可扩展性,也将影响用户的沉浸感。为此,对易扩展、高效通用的虚拟手交互接口的研究成为了必要。
使用第一部分提出的方法为交互对象建立交互特征,通过运动识别和交互理解,使交互物体理解操作手的交互意图。其中,我们采用了基于手型特征的点集模板匹配方法来进行手势识别,一方面可以对模板库进行扩展,从而动态增加用户的交互手势,另一方面,识别正确率和识别效率的提高,保证了用户和虚拟环境交互的正确性和实时性。然后,通过自定义且可扩展的规则库,结合识别结果完成对交互意图的理解。最后,交互物体根据理解结果,做出相应的交互响应。交互响应采用了基于状态机的方法,从而可以达到不同状态下物体对操作手不同行为的监测。
3.基于前两点的研究成果和本实验室的现有技术,实现了沉浸式虚拟装配系统。
基于本文提出的交互特征建模方法和虚拟手交互接口,以及本实验室已有的虚拟人运动合成技术,我们设计并实现了一个沉浸式的虚拟装配系统。利用该系统,用户可以实现基于虚拟手的搬运、装配、拆卸以及工具类操作等装配任务,以及任务级的流程控制,从而可以为装配人员的培训与教学提供一种自然、高效、逼真的虚拟环境。