虚拟装配中的虚拟手交互接口研究

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:mailabc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
虚拟装配是虚拟现实技术在制造业的典型应用。它利用虚拟现实技术创造出与装配环境一致的虚拟环境,用户借助虚拟现实输入、输出设备可在其中完成装配与拆卸任务。虚拟手交互技术是虚拟装配中很重要的一个组成部分,也是影响沉浸感和交互感的关键因素,研究如何使用户能以逼真、自然的方式在虚拟环境中完成交互过程至关重要。本文在虚拟装配的应用环境下,研究基于数据手套的虚拟手交互接口问题。   沉浸式虚拟装配是一种“人在回路”的虚拟现实系统,可用于大型设备的设计及装配人员的培训等领域。作为其关键技术之一,如何实现“真实”人对“虚拟”物体的操作,仍是一项具有挑战性的工作。针对这一问题,本文对物体建模技术、虚拟手操作技术、手势识别以及虚拟手交互接口开展了具体研究,提出了一种基于交互区的物体交互特征建模方法和虚拟手交互接口,旨在为虚拟装配提供一种自然、高效的人机交互方式。具体研究成果如下:   1.提出了一种基于交互区的交互特征建模方法   已有的交互特征建模方法在重用性、交互丰富性以及易用性方面存在问题。第一,沉浸式交互大多是针对具体物体进行,交互过程的重用性较差,不利于交互物体的扩充;第二,传统虚拟手交互主要研究基于人手的直接交互,对于使用工具的间接交互很少考虑;第三,交互特征建模过程较为繁琐,建模者需要一定的专业知识,如脚本的编写,复杂物体交互面的指定等。   针对上述问题,本文提出了一种基于交互区的交互特征建模方法。交互特征包括交互区、交互状态和交互控制器三部分。交互区是具有辅助交互和交互监测功能的,用于指示虚拟手交互可发生的位置区域,包括感知交互区、探测交互区和放置交互区。这三类交互区功能有所不同,通过交互区间的信息传递和监测,完成对用户行为的理解,其中探测区的提出,统一了人手的直接交互和使用工具的间接交互。通过对交互区进行参数化设置,可方便地实现用户与物体的不同交互,也极大地简化了交互特征建模过程。交互状态是虚拟手交互过程中物体所处的状态,本文按照交互过程相似性对物体进行分类,实现了人与物体间交互过程的极大重用。交互控制器是连接用户、交互区和交互物体三者的纽带,通过它来控制交互过程中交互区的监测和物体的状态转换。   2.提出了一种通用的基于虚拟手的交互接口   在无触觉及力反馈的虚拟环境中,数据手套的数据精度将对用户的交互产生直接的影响。此外,交互接口的高效性、可扩展性,也将影响用户的沉浸感。为此,对易扩展、高效通用的虚拟手交互接口的研究成为了必要。   使用第一部分提出的方法为交互对象建立交互特征,通过运动识别和交互理解,使交互物体理解操作手的交互意图。其中,我们采用了基于手型特征的点集模板匹配方法来进行手势识别,一方面可以对模板库进行扩展,从而动态增加用户的交互手势,另一方面,识别正确率和识别效率的提高,保证了用户和虚拟环境交互的正确性和实时性。然后,通过自定义且可扩展的规则库,结合识别结果完成对交互意图的理解。最后,交互物体根据理解结果,做出相应的交互响应。交互响应采用了基于状态机的方法,从而可以达到不同状态下物体对操作手不同行为的监测。   3.基于前两点的研究成果和本实验室的现有技术,实现了沉浸式虚拟装配系统。   基于本文提出的交互特征建模方法和虚拟手交互接口,以及本实验室已有的虚拟人运动合成技术,我们设计并实现了一个沉浸式的虚拟装配系统。利用该系统,用户可以实现基于虚拟手的搬运、装配、拆卸以及工具类操作等装配任务,以及任务级的流程控制,从而可以为装配人员的培训与教学提供一种自然、高效、逼真的虚拟环境。
其他文献
火焰动画是以计算机技术为核心,结合相关科学知识,重现自然界中的火焰现象,同时加以一定的艺术创作,生成用户满意的视觉效果。经过多年的发展,火焰动画生成技术已广泛应用于虚拟现
目前,虚拟化技术正在高速发展,该技术已在服务器整合、集群计算、配置多操作系统以及内核开发等很多领域得到广泛应用,并且虚拟化技术已经向个人计算机方向发展。而个人计算机的
随着半导体工艺技术的进步,面向多核和众核处理器的设计方法逐渐成为学术界和工业界研究热点。然而,由于众核处理器芯片结构复杂,编程环境复杂,同时应用程序的优化策略相互影响,因
从视频中跟踪三维人体运动在智能人机交互、视频监控、影视动漫、医疗康复等领域有着重要的应用,是计算机视觉领域的一个研究热点。由于人体运动比较复杂,视频信息不充分并且包
面对飞速增长的流媒体信息处理,高性能计算,网络应用的全球化的需求,用户需要芯片能提供更高的计算性能。而要提供更高的计算性能,就需要在芯片内集成大量的处理器核。根据ITRS的
随着“平安城市”等计划的实施,视频监控系统将逐渐覆盖各种重要场合,生成的监控数据也会成千上万倍的增加。以人眼观看为主的监控视频分析已经不能满足这种海量数据的需求。因
随着光学三维测量技术、数据获取处理方式和计算机CAD/CAM技术的发展,人类进入了信息数字化时代。实现脚型测量的数字化顺应了时代潮流满足了人类日益增长的需求。   本文
曙光6000高效能计算机系统是面向千万亿次计算的超级计算机系统,采用HPP体系结构,计算节点间采用Infiniband网络和专用集合通信网络进行通信。曙光6000集合通信芯片是集合通信
电子断层成像技术能够在纳米尺度下重构出不具有全同性的细胞或生物大分子的三维结构,正受到越来越广泛的重视。本文围绕电子断层成像技术中投影图像对位算法、三维重构结果质
视觉对象检测与识别是计算机视觉要解决的核心问题,由于存在对象尺度与视角的变化、对象类别内部的形变(非刚体)、复杂背景与遮挡以及光线的变化等,使得视觉对象检测与识别任务