虚拟装配系统将人的经验和决策能力与计算机的计算能力结合起来,辅助装配设计的规划和验证,节约设计制造的成本。人机交互是虚拟装配系统各项功能的基本保障,然而目前的虚拟装配系统设计往往以功能和技术为中心,忽略了人的交互体验,未能充分发挥虚拟现实技术的交互性特点,导致虚拟装配技术未能在行业内形成广泛应用。本文对针对虚拟装配应用领域的人机交互关键理论和技术进行了深入研究,旨在以系统使用者为研究视角,从人的情境感知机制和“以人为中心”的设计原则出发,以期为虚拟装配环境建立自然、和谐的人机界面,提高虚拟装配系统智能性的同时,降低人在交互过程中的认知负荷和操作负荷,实现虚拟装配系统由面向功能到面向用户交互体验的转变。本文提出虚拟装配环境中的人机交互策略,通过双层感知机制和主动对象技术执行交互行为的推理和仿真,实现自然、和谐的虚拟装配交互式系统的人机界面。其主要原理包括:1)在虚拟装配环境中集成交互信息,使静态的虚拟场景和虚拟对象蕴含必要的交互语义信息;2)在集成交互信息基础上,使用双层感知机制,外层对应用户所处的物理世界,感知用户操作的动作信息;内层对应主动对象存在的虚拟世界,通过营造以主动对象为中心的小世界情境,感知用户的交互意图,预测对象的交互行为;3)在感知用户交互意图的基础上,执行对象的交互行为仿真,利用多通道整合将交互行为反馈给用户。论文的主要研究内容如下:(1)提出了一种虚拟装配环境中的交互信息集成策略。对虚拟装配环境中的交互对象特点进行分析,提出交互特征概念,通过交互特征描述交互活动中相互作用的交互对象之间的行为接口;将交互特征属性嵌入虚拟对象的几何模型,建立对象的几何结构与交互行为的联系关系,形成交互对象的行为映射结构模型,实现交互信息在虚拟环境中的集成;通过交互语义对虚拟装配中的交互行为信息进行形式化描述,提炼产品装配的组成要素之间的交互关系和操作形式的语义信息,形成可重用的面向交互对象的行为构件;在具体的交互活动中,通过交互对象的行为映射结构和交互语义模型可实例化对应的对象交互行为,为用户意图推理和交互行为仿真提供了基础条件。(2)提出了一种基于用户行为运动感知的交互信息识别方法。将手势识别技术引入虚拟装配的人机交互过程中,将手势作为用户交互信息输入的主要通道,并根据装配任务和交互模式的特点,建立层次化的交互手势模型;提出二级手势分类策略,首先对交互手势进行初步分类,利用情境感知技术判断手势类型;然后利用运动感知技术,进一步对手势的交互语义进行识别;对于不同类型的手势分别给出建模方法和识别算法。(3)开发了基于主动对象情境感知的对象行为推理方法。通过活动理论和人的情境感知分析,得到装配活动层次结构与情境感知过程之间的关系;根据装配活动层次结构与情境感知过程之间的关系,提出基于主动对象的情境感知机制;设计虚拟对象的交互空间感知算法,推理用户的潜在交互行为。(4)提出了集成几何约束与物理行为的对象交互行为管理方法。分析装配任务各环节的用户行为和对象行为特点,将虚拟对象的交互行为分为自由操作阶段和任务操作阶段;对不同阶段采用不同的交互技术予以支持,对自由操作阶段的对象行为管理,采用基于物理的交互技术实现,而对于任务操作阶段的交互行为采用基于约束的交互行为来支持;为了体现“以用户为中心”的设计要求,针对集成几何约束与物理行为的对象交互行为管理技术进行了可用性评估,并对评估结果进行讨论,试验表明本文提出的交互技术有助于用户更全面地感知和控制交互过程,并能够获得更好的交互体验。(5)设计和开发了基于多通道整合的全手交互人机界面及原型系统。设计并开发一款能用于全手交互的六自由度力反馈虚拟外设(6-WHFD)以支持用户输出交互手势和感受反馈力觉信息;在6-WHFD基础上开发面向自然交互的虚拟装配设计原型系统;通过实际的应用案例来对6-WHFD人机界面和原型系统的使用情况进行验证。