论文部分内容阅读
摘要：在搭建了装配仿真系统整体架构的基础上，文章对基于Kmect的虚拟场景的建立、仿真工具与产品模型的创建等关键技术进行了较为深入的讨论，并以此为依据开发了汽车零配件装配仿真系统。应用结果表明，人机交互技术的应用显著提升了装配工作效率与学习体验感。
关键词：Kmect；人机交互；装配仿真
装配仿真是虚拟现实技术在工业领域中的一个重要应用，可以利用装配仿真及时发现设计缺陷，提高装配流程的效率与合理性。本文将基于Kmect的人体运动数据获取技术与计算机仿真技术相结合，研究了虚拟场景的建立、仿真工具与产品模型的创建等问题，实现了虚拟装配系统的仿真。
1人体交互技术与Kinect介绍
人机交互技术主要研究的是使用者与计算机之间的互动联系。使用者利用对计算机的相关操作以实现二者之间的双向数据交换，将使用者的需求准确传输至计算机，后者能够有效完成信息的分析、计算、管理等工作。人机交互技术作为计算机用户界面设计中的一项重要内容，其与计算机技术同步发展，并与人机工程学、认知科学及语言学等多学科领域紧密相关[1]。
目前，随着计算机图形学、机器视觉、图像识别与虚拟现实等技术的迅速发展，人机交互技术的输入输出方式更加多元化、人机对话方式更加便捷自然、交互过程的智能化程度更高。
Kmect作为微软XBOX360体感周边外围设备，在开发过程中运用了基于深度图像的骨骼追踪算法，不需要任何其他辅助工具就能够进行人体运动姿态的识别与捕捉[2]。
Kmect前方从左向右依次配置有红外线发射器、RGB摄像头、红外线接收器。其中，RGB摄像头能够以30巾贞/秒的速度获取彩色图像；两侧的红外发射、接收器用于获取深度图像；两侧不对称的麦克风阵列具有声源判断、音频处理、语音识别等功能；底座马达可调节其俯仰角度。
2虚拟装配系统的实现
2.1系统架构
本文设计的系统从Kmect获取的深度图像中提取手势区域，并依据特征进行分类以作为鼠标的输入；获取Kmect采集的不同骨骼节点数据，并以各自的位置信息分别定义交互动作，同时将右手骨骼坐标换算为计算机屏幕坐标，以右手的动作取代光标操作，实现以更自然、便捷的方式与虚拟现实场景之间的动态交互。
2.2交互动作的定义
虚拟现实场景通常以操作者的手势与一定的动作来控$|J，以达到人机交互更加自然的目的。而上述特定的动作的定义则是依据对手势的识别或者判断骨骼节点间相对位置。以右手伸展、右臂抬起与肩平齐动作为例，需判断右手与右肩骨骼节点纵坐标的相似性，右手与右肩骨骼节点横坐标的距离差值。
常用交互动作的定义和功能有：（1）右手手掌完全打开定义松开鼠标左键，实现零件抓取的功能；（2）右手握拳定义按下鼠标左键，实现零件释放的功能；（3）右手水平移动定义鼠标在桌面的移动；（4）右手摆动定义由虚拟装配界面退出；（5）右手伸展、右臂抬起与肩平齐定义装配零部件向右旋转；（6）左手伸展、左臂抬起与肩平齐定义装配零部件向左旋转[3]。
2.3场景的建立
装配仿真是以场景的创建为前提与基础的，其具体的搭建流程包括：实际场景的捕获、工位建模、目标建模（含产品、工具、人体等）以及系统初始化。
本文设计的系统基于对虚拟模型的组合创建了仿真场景。虚拟模型的创建可直接利用数字化企业的互云力制造应用（Digital Enterprise Lean Manufacturing Interactive Application，DELMIA）软件或配合交互式CAD/CAE/CAM系统（Computer Aided Three-dimensional Interactive Application，CATIA）完成，其中，DELMIA能够有效实现仿真环境的可控及真实性需求。然后再选用事件驱动模式完成安放、觀察角度的变换等，并进一步搭建仿真场景。
2.4产品模型和装配工具模型的创建
仿真工具与产品模型是实现虚拟装备的重要条件。由于在交互操作过程中，涉及对产品模型的拆卸、组合、安装等工作，因此系统创建采用基于模型的方法。而其中最核心的项目为三维几何建模，利用该方法在仿真环境下呈现出实际物体的形状、大小等物理特性，同时表征了数字模型各构成部分的运动与约束关系。此外，在对操作资源进行查找、分析的基础上，使用建模软件，能够达到对装配工具参数化建模的目的[4]。
3基于Kinect的人体运动数据的获取
由Kmect骨骼追踪所创建的人体模型主干节点组成如
图1（a）所示，可以明显看出头、手、脚都仅有一个节点，即说明依靠Kmect骨骼追踪并不能可靠地识别手指的运动，同时也不能判断使用者面部的方向。但是，在DELMIA互动软件中创建的人体模型除了与上图类似的部分外，还增添了若干手、脚指（趾）部关节点，如图1（b）所示。
在不考虑手、脚指（趾）的微小动作的情况下，DELMIA所创建的人体模型中绝大多数绕节点做旋转运动的地部位均可以对应Kinect模型中的球关节，如表1所示。
在Kmect软件中，人体模型的头、手、脚等主干关节在仅发生位移而没有进行旋转运动的时候，可利用其自身和节点的位置坐标来计算DELMIAS动软件中相关节点间对应部位的转动角度。同理，可利用右（左）肩和双肩中部位置节点的位置坐标来计算右（左）锁骨的转动角度。此外，在Kinect软件中，被认为能够进行独立位移运动的左、中、右臀，对应于DELMIA中作为整体发生位移运动。
4运行实例
汽车零配件装配仿真场景包含汽车、置物架、人体模型。在操作环境中配置完成Kmect软件，在与计算机连接成功后进入系统运行状态。当人体进行抓取、防止等操作动作时，能够看到DELMIAS动软件中的虚拟操作者进行相关操作动作[5]。
5结语
在搭建了装配仿真系统整体架构的基础上，重点介绍了基于对虚拟模型的组合创建仿真场景、基于Kinect的人体运动数据的获取，其中包含人体模型在DELMIA与Kmect中的相互对应关系，并采取这些方法开发了汽车零配件装配仿真系统。应用结果表明，基于Kmect的装配仿真系统极大提升了设计效果与学习沉浸感。
[参考文献]
[1]王朝增.基于Kinect的装配仿真及其人机工效分析[D].杭州：浙江理工大学，2013.
[2]廖宏建，曲哲.基于Kinect体感交互技术的虚拟装配实验系统开发[J].实验技术与管理，2013（7）：98-102.
[3]赵阳，何汉武，吴悦明，等.增强现实交互环境下发动机装配序列呈现方法研究与实现[J].装备制造技术，2015（4）：146-149.
[4]罗凌峰.基于行为交互的虚拟装配及展示研究[D].北京：北京交通大学，2015.
[5]赵阳.增强现实环境下汽车发动机装配训练系统研究[D].广州：广东工业大学，2015.
关键词：Kmect；人机交互；装配仿真
装配仿真是虚拟现实技术在工业领域中的一个重要应用，可以利用装配仿真及时发现设计缺陷，提高装配流程的效率与合理性。本文将基于Kmect的人体运动数据获取技术与计算机仿真技术相结合，研究了虚拟场景的建立、仿真工具与产品模型的创建等问题，实现了虚拟装配系统的仿真。
1人体交互技术与Kinect介绍
人机交互技术主要研究的是使用者与计算机之间的互动联系。使用者利用对计算机的相关操作以实现二者之间的双向数据交换，将使用者的需求准确传输至计算机，后者能够有效完成信息的分析、计算、管理等工作。人机交互技术作为计算机用户界面设计中的一项重要内容，其与计算机技术同步发展，并与人机工程学、认知科学及语言学等多学科领域紧密相关[1]。
目前，随着计算机图形学、机器视觉、图像识别与虚拟现实等技术的迅速发展，人机交互技术的输入输出方式更加多元化、人机对话方式更加便捷自然、交互过程的智能化程度更高。
Kmect作为微软XBOX360体感周边外围设备，在开发过程中运用了基于深度图像的骨骼追踪算法，不需要任何其他辅助工具就能够进行人体运动姿态的识别与捕捉[2]。
Kmect前方从左向右依次配置有红外线发射器、RGB摄像头、红外线接收器。其中，RGB摄像头能够以30巾贞/秒的速度获取彩色图像；两侧的红外发射、接收器用于获取深度图像；两侧不对称的麦克风阵列具有声源判断、音频处理、语音识别等功能；底座马达可调节其俯仰角度。
2虚拟装配系统的实现
2.1系统架构
本文设计的系统从Kmect获取的深度图像中提取手势区域，并依据特征进行分类以作为鼠标的输入；获取Kmect采集的不同骨骼节点数据，并以各自的位置信息分别定义交互动作，同时将右手骨骼坐标换算为计算机屏幕坐标，以右手的动作取代光标操作，实现以更自然、便捷的方式与虚拟现实场景之间的动态交互。
2.2交互动作的定义
虚拟现实场景通常以操作者的手势与一定的动作来控$|J，以达到人机交互更加自然的目的。而上述特定的动作的定义则是依据对手势的识别或者判断骨骼节点间相对位置。以右手伸展、右臂抬起与肩平齐动作为例，需判断右手与右肩骨骼节点纵坐标的相似性，右手与右肩骨骼节点横坐标的距离差值。
常用交互动作的定义和功能有：（1）右手手掌完全打开定义松开鼠标左键，实现零件抓取的功能；（2）右手握拳定义按下鼠标左键，实现零件释放的功能；（3）右手水平移动定义鼠标在桌面的移动；（4）右手摆动定义由虚拟装配界面退出；（5）右手伸展、右臂抬起与肩平齐定义装配零部件向右旋转；（6）左手伸展、左臂抬起与肩平齐定义装配零部件向左旋转[3]。
2.3场景的建立
装配仿真是以场景的创建为前提与基础的，其具体的搭建流程包括：实际场景的捕获、工位建模、目标建模（含产品、工具、人体等）以及系统初始化。
本文设计的系统基于对虚拟模型的组合创建了仿真场景。虚拟模型的创建可直接利用数字化企业的互云力制造应用（Digital Enterprise Lean Manufacturing Interactive Application，DELMIA）软件或配合交互式CAD/CAE/CAM系统（Computer Aided Three-dimensional Interactive Application，CATIA）完成，其中，DELMIA能够有效实现仿真环境的可控及真实性需求。然后再选用事件驱动模式完成安放、觀察角度的变换等，并进一步搭建仿真场景。
2.4产品模型和装配工具模型的创建
仿真工具与产品模型是实现虚拟装备的重要条件。由于在交互操作过程中，涉及对产品模型的拆卸、组合、安装等工作，因此系统创建采用基于模型的方法。而其中最核心的项目为三维几何建模，利用该方法在仿真环境下呈现出实际物体的形状、大小等物理特性，同时表征了数字模型各构成部分的运动与约束关系。此外，在对操作资源进行查找、分析的基础上，使用建模软件，能够达到对装配工具参数化建模的目的[4]。
3基于Kinect的人体运动数据的获取
由Kmect骨骼追踪所创建的人体模型主干节点组成如
图1（a）所示，可以明显看出头、手、脚都仅有一个节点，即说明依靠Kmect骨骼追踪并不能可靠地识别手指的运动，同时也不能判断使用者面部的方向。但是，在DELMIA互动软件中创建的人体模型除了与上图类似的部分外，还增添了若干手、脚指（趾）部关节点，如图1（b）所示。
在不考虑手、脚指（趾）的微小动作的情况下，DELMIA所创建的人体模型中绝大多数绕节点做旋转运动的地部位均可以对应Kinect模型中的球关节，如表1所示。
在Kmect软件中，人体模型的头、手、脚等主干关节在仅发生位移而没有进行旋转运动的时候，可利用其自身和节点的位置坐标来计算DELMIAS动软件中相关节点间对应部位的转动角度。同理，可利用右（左）肩和双肩中部位置节点的位置坐标来计算右（左）锁骨的转动角度。此外，在Kinect软件中，被认为能够进行独立位移运动的左、中、右臀，对应于DELMIA中作为整体发生位移运动。
4运行实例
汽车零配件装配仿真场景包含汽车、置物架、人体模型。在操作环境中配置完成Kmect软件，在与计算机连接成功后进入系统运行状态。当人体进行抓取、防止等操作动作时，能够看到DELMIAS动软件中的虚拟操作者进行相关操作动作[5]。
5结语
在搭建了装配仿真系统整体架构的基础上，重点介绍了基于对虚拟模型的组合创建仿真场景、基于Kinect的人体运动数据的获取，其中包含人体模型在DELMIA与Kmect中的相互对应关系，并采取这些方法开发了汽车零配件装配仿真系统。应用结果表明，基于Kmect的装配仿真系统极大提升了设计效果与学习沉浸感。
[参考文献]
[1]王朝增.基于Kinect的装配仿真及其人机工效分析[D].杭州：浙江理工大学，2013.
[2]廖宏建，曲哲.基于Kinect体感交互技术的虚拟装配实验系统开发[J].实验技术与管理，2013（7）：98-102.
[3]赵阳，何汉武，吴悦明，等.增强现实交互环境下发动机装配序列呈现方法研究与实现[J].装备制造技术，2015（4）：146-149.
[4]罗凌峰.基于行为交互的虚拟装配及展示研究[D].北京：北京交通大学，2015.
[5]赵阳.增强现实环境下汽车发动机装配训练系统研究[D].广州：广东工业大学，2015.