论文部分内容阅读
摘 要：基于当今民航维修业发展趋势，顺应大环境下互联网技术的发展模式，开发了以用户为中心的人性化、智能化的维修教学系统，采用计算机仿真與虚拟现实技术，帮助用户完成复杂的维修工作。以Unity 3D为集成开发平台为基础，通过Solidworks、3DMax、C4D等对于场景中的机械以及人物进行建模，对发动机维修实习车间、车间教学课堂等真实场景进行高度虚拟化的还原;利用Visual Studio编辑器结合C#语言对内置模型实现可交互式逻辑编程，对于零件间的维修特征、对象行为以及虚拟人行为等交互特征进行参数化描述，最终以Xsens MVN和PUN实现异地交互的虚拟现实功能。
关键词：虚拟现实 异地交互 多人协同 机务维修
中图分类号：V23 文献标识码：A文章编号：1672-3791（2021）04（c）-0051-03
Development of Multi-person Cooperative Aero-engine Maintenance System
XIANG Jinpeng1 ZHAO Bin2 ZHANG Chaozhi1 ZHOU Xianglin1 SHEN Yirui1 YAN Yushan1 JIANG Siyi1 JIANG Zhihongye1
（1. College of Aeronautical Engineering， Civil Aviation University of China， Tianjin， 300300 China;
2. Technology Department of Electrical Transmission Company， Tianjin Research Institute of Electric Science Co.， Ltd.， Tianjin， 300301 China）
Abstract： Based on the development trend of civil aviation maintenance industry and the development mode of Internet technology under the environment， the system has developed a user-centered humanized and intelligent maintenance teaching system， which adopts computer simulation and virtual reality technology to help users complete complex maintenance work. Based on Unity 3D integrated development platform， the machine and characters in the scene are modeled by SolidWorks， 3DMax and C4D， and the real scenes such as engine maintenance practice workshop and workshop teaching classroom are restored with high virtualization. Visual Studio editor combined with C# language is used to realize interactive logic programming for the built-in model， and parameterized description is carried out for the interaction features such as maintenance features between parts， object behavior and virtual human behavior. Finally， XsensMVN and PUN are used to realize the virtual reality function of remote interaction.
Key Words： Virtual reality; Remote interaction; multi-person cooperative; Maintenance
在航空航天领域，普遍存在使用设备成本高、技术难度大、维修技术人员培训周期长、硬件损坏不可逆等问题。诸多因素困扰了研发、使用、维修等诸多环节的研究和培训进度，又因其突出存在的不可逆性限制了航空的发展和进步。在当今疫情严峻的形势下，民航行业运营情况持续低迷，维修技术人员的培训出现了诸多不利条件。但是，由于市场对技术人才的需求并未停止，迫切需要一种成本低、培训周期短、可逆性强的解决方案来弥补这项漏洞，辅助用户完成复杂的维修装配工作，切实提高作业效率和准确度，切实利用互联网技术所提供的便利条件，完善机务维修人员培养模式，提高人员质量。因此，基于虚拟现实技术在国内迅速发展的现状和迫切需求，开发了该款多人协同航空发动机维护系统。
基于计算机设备的不断升级，计算机的计算能力得到显著加强。随之而来的是显卡设备的更新换代，以及与之匹配的高效率GPU算法编程，为高性能显示设备的开发及使用奠定了深厚基础。在这些前提下，虚拟现实技术在航空工业、机械加工制造、营销、电子竞技、人员培训等方面得到突出的应用。然而，随着虚拟现实技术的成熟，其深层的市场需求也在慢慢打开。另一方面，互联网技术（例如云服务器、5G通信）在近年来飞速发展，使得实时的多用户、大流量、高稳定性传输变得可能。因此，虚拟现实的异地交互式应用也应运而生。项目组关注该应用在航空领域，在维修人员培训、远程辅助维修、沉浸式体验等都有良好体现。协同的存在，解决跨区域，远距离的不利条件，用虚拟世界的技术，解决现实问题，提高作业人员、教学机构、科研单位的工作效率。 1 单机版航空发动机维护系统开发
在软件层上，通过Unity3D以及其他程序开发平台，基于3D Max、Solidworks、C4D、UG等诸多CAD计算机辅助设计软件，利用Visual Studio编辑器，结合Xsens MVN对Unity3D 开发平台的兼容性支持，对内置模型实现可交互式逻辑编程，实现多个感官（视觉、听觉、触觉）共同感受发动机拆卸、飞机厂房、基础维修车间等真实场景。
利用HTC Vive（包含定位基站、定位器、控制手柄、显示头盔）以及Xsens全身动作捕捉设备，对于穿戴者的17个关节上的数据进行收集，集成到Unity3D开发平台中。在上述搭建好的软件程序中，硬件设备将现实中用户的动作和位置映射到虚拟场景之中，使现实中的用户与虚拟世界中的场景结合，使操作者以第一人称视角享受身临其境的发动机拆卸体验，并参与到操作虚拟环境中的仿真模型中[1]。
以Unity3D为集成开发平台为基础，通过Solidworks、3Dmax、C4D等对于场景中的机械以及人物进行建模，对发动机维修实习车间、车间教学课堂等真实场景进行高度虚拟化的还原;利用Visual Studio编辑器结合C#语言对内置模型实现可交互式逻辑编程，对于零件间的维修特征、对象行为以及虚拟人行为等交互特征进行参数化描述，实现人机交互功能。在硬件层上，利用全身穿戴设Xsens和HTC Vive对用户的动作进行惯性捕捉，将捕捉到的运动数据同步到虚拟场景中的人物身上。在虚拟环境中实时漫游，查看飞机的结构、系统、设备信息及运行原理[2]。
2 多人协同航空发动机维护系统开发
2.1 基于Xsens MVN的人物模型同步方案
利用Xsens MVN可在另一台主机克隆本体的原理。创建局域网，在MVN内将2台设备的IP地址互通，搭建一条通信网络。Xsens设备获得的原始数据被克隆为完全相同的两份，一份输入连接Xsens的主设备，另一份通过前面搭建的网络通路进入另一台计算机。如此，2台设备上人物的骨骼信息、肢端位置、转角信息将被同步。即一个输入设备同时控制2台主机的两个完全相同的程序，结果也是相同的。但是，由于程序物体完全处于被动，并没有同步的功能，所看同步场景仅是由Xsens模型操作下的结果。若通过手柄或鼠标在任意一方对被动模型进行操作时，被动物体由于缺乏同步指令，无法呈现同步效果。
2.2 基于Photon Cloud的场景内物体同步方案
Photon Cloud是专注于游戏多用户信息同步的云服务器平台，其与Unity合作开发出适配与Unity开发者的同步平台。正如许多MOBA游戏所使用的联机方式，Photon Unity Networking（PUN）为游戏开发者提供了可以同步多端数据的云服务器平台。常见的信息类型有三维坐标、四元素转角、缩放比例、环境信息、人物附属信息、权限信息等。为了区别于虚拟世界中的人物模型，我们称除人物以外的模型为被动物体。当在Unity内创建好同步环境并为需要同步的物体配置好属性之后，当某一用户操作被动物体时，其形态的各种改变会同步到所有场景内的人物[3]。此外，还可根据需要设置不同物体的操作权限。当被动物体的操作权限对所有用户打开时，被动物体可以由多方共同操作。但是，由于该方案完全基于unity对模型各类信息的修改权限，无法突破Xsens对仿真人物的保护权限，对于不具有的信息修改权限的虚拟人物模型，无法实现动作的同步[4]。
2.3 基于unity的Xsens MVN和PUN的混合同步方案
在工程文件中导入SteamVR、XR、PUN的底层文件。（1）以Unity 3D为平台，对于多种软硬件进行集成，实现功能、设备的统一;（2）利用3D Max、Solidworks三维建模软件构建模型，对于Unity中的人物、厂房、机件以及各种工具进行建模;（3）利用Visual Studio结合C#语言制作功能脚本（场景漫游以及拆卸装配的功能），进一步实现人机交互功能，还原发动机拆卸以及再装配的场景[5];（4）利用Steam VR软件对于光学动作捕捉设备HTC Vive进行数据处理 并向unity 3D平台传递位置等数据;（5）利用MVN Animate捕捉动作数据，后利用MVN Analyze即刻输出已验证的数据，导入到Unity中，显示出人物的动作以及操作流程;（6）利用PUN的同步功能，将双方的触发效果、空间变化及模型变化同步至双方虚拟现实设备中;（7）利用局域网，通过局域网将客户端的动作数据从一端的MVN传递到远程的MVN中，以第三人称视角同步实时操作，从而实现异地协同[6]。
3 结语
在可视化的沉浸式虚拟环境中，用户可以在发动机厂房以及机坪进行漫游，感受飞机具体构造，同时高度还原复杂的航空发动机的整体结构以及零部件构成，从视觉、听觉以及触觉上让使用者的操作过程更有沉浸感，脱离单一的教学模式，丰富民航维修教学体系。
以Unity 3D为集成开发平台，有机结合3D Max、Visual Studio、Photoshop等软件，通过设计对象属性信息、编辑零件间的维修特征、对于对象行为以及虚拟人行为等交互特征进行参数化描述。基于MVN平台，近端一方将捕捉到的动作数据通过MVN Analyze传递到Unity 3D平台，而远程的电脑可以通过连接局域网，将客户端MVN中的数据同步到远程的电脑中，穿戴者以及教师可在不同的地方却在同一个虚拟Unity 3D场景中完成对飞机的协同维修，让规范的教学动作多维度地展示在学生面前，实现了教学方式的多样化，进一步推进实现异地多人协同。
参考文献
[1] 张青，郑岩，郭庆，等.航空发动机设备拆装快速装配仿真研究[J].计算机仿真，2018，35（3）：257-262.
[2] 李荣强，文爱兵，花斌，等.航空装备虚拟维修训练仿真模型快速开发技术[J/OL].系统仿真学报：1-9[2021-04-19].https：//doi.org/10.16182/j.issn1004731x.joss.20-0107.
[3] 柳有权，王愿超，徐琨，等.基于混合现实的远程协同式装配维修引导[J/OL].图学学报：1-7[2021-04-19].http：//kns.cnki.net/kcms/detail/10.1034.T.20201207.1444.004.html.
[4] wang peng，zhang shusheng，bai xiaoliang， et al.2.5DHANDS： a gesture-based MR remote collaborative platform[J].The International Journal of Advanced Manufacturing Technolo-gy，2019，102（5-8）：1339-1353.
[5] 賀占魁，黄涛.虚拟仿真实验教学项目建设探索[J].实验技术与管理，2018，35（2）：108–111，116.
[6] 殷复鹏，邓晓红，张雷.基于模块化的虚拟仿真实验室建设[J].实验技术与管理，2020，37（6）：259-262.
①基金项目：2020年中国民航大学大学生创新创业训练计划项目校内优秀培育项目《异地交互式虚拟维修培 训系统》（项目编号：IEKCAUC2020003）。
作者简介：向锦鹏（2002—），男，本科在读，研究方向为飞行器动力工程。
关键词：虚拟现实 异地交互 多人协同 机务维修
中图分类号：V23 文献标识码：A文章编号：1672-3791（2021）04（c）-0051-03
Development of Multi-person Cooperative Aero-engine Maintenance System
XIANG Jinpeng1 ZHAO Bin2 ZHANG Chaozhi1 ZHOU Xianglin1 SHEN Yirui1 YAN Yushan1 JIANG Siyi1 JIANG Zhihongye1
（1. College of Aeronautical Engineering， Civil Aviation University of China， Tianjin， 300300 China;
2. Technology Department of Electrical Transmission Company， Tianjin Research Institute of Electric Science Co.， Ltd.， Tianjin， 300301 China）
Abstract： Based on the development trend of civil aviation maintenance industry and the development mode of Internet technology under the environment， the system has developed a user-centered humanized and intelligent maintenance teaching system， which adopts computer simulation and virtual reality technology to help users complete complex maintenance work. Based on Unity 3D integrated development platform， the machine and characters in the scene are modeled by SolidWorks， 3DMax and C4D， and the real scenes such as engine maintenance practice workshop and workshop teaching classroom are restored with high virtualization. Visual Studio editor combined with C# language is used to realize interactive logic programming for the built-in model， and parameterized description is carried out for the interaction features such as maintenance features between parts， object behavior and virtual human behavior. Finally， XsensMVN and PUN are used to realize the virtual reality function of remote interaction.
Key Words： Virtual reality; Remote interaction; multi-person cooperative; Maintenance
在航空航天领域，普遍存在使用设备成本高、技术难度大、维修技术人员培训周期长、硬件损坏不可逆等问题。诸多因素困扰了研发、使用、维修等诸多环节的研究和培训进度，又因其突出存在的不可逆性限制了航空的发展和进步。在当今疫情严峻的形势下，民航行业运营情况持续低迷，维修技术人员的培训出现了诸多不利条件。但是，由于市场对技术人才的需求并未停止，迫切需要一种成本低、培训周期短、可逆性强的解决方案来弥补这项漏洞，辅助用户完成复杂的维修装配工作，切实提高作业效率和准确度，切实利用互联网技术所提供的便利条件，完善机务维修人员培养模式，提高人员质量。因此，基于虚拟现实技术在国内迅速发展的现状和迫切需求，开发了该款多人协同航空发动机维护系统。
基于计算机设备的不断升级，计算机的计算能力得到显著加强。随之而来的是显卡设备的更新换代，以及与之匹配的高效率GPU算法编程，为高性能显示设备的开发及使用奠定了深厚基础。在这些前提下，虚拟现实技术在航空工业、机械加工制造、营销、电子竞技、人员培训等方面得到突出的应用。然而，随着虚拟现实技术的成熟，其深层的市场需求也在慢慢打开。另一方面，互联网技术（例如云服务器、5G通信）在近年来飞速发展，使得实时的多用户、大流量、高稳定性传输变得可能。因此，虚拟现实的异地交互式应用也应运而生。项目组关注该应用在航空领域，在维修人员培训、远程辅助维修、沉浸式体验等都有良好体现。协同的存在，解决跨区域，远距离的不利条件，用虚拟世界的技术，解决现实问题，提高作业人员、教学机构、科研单位的工作效率。 1 单机版航空发动机维护系统开发
在软件层上，通过Unity3D以及其他程序开发平台，基于3D Max、Solidworks、C4D、UG等诸多CAD计算机辅助设计软件，利用Visual Studio编辑器，结合Xsens MVN对Unity3D 开发平台的兼容性支持，对内置模型实现可交互式逻辑编程，实现多个感官（视觉、听觉、触觉）共同感受发动机拆卸、飞机厂房、基础维修车间等真实场景。
利用HTC Vive（包含定位基站、定位器、控制手柄、显示头盔）以及Xsens全身动作捕捉设备，对于穿戴者的17个关节上的数据进行收集，集成到Unity3D开发平台中。在上述搭建好的软件程序中，硬件设备将现实中用户的动作和位置映射到虚拟场景之中，使现实中的用户与虚拟世界中的场景结合，使操作者以第一人称视角享受身临其境的发动机拆卸体验，并参与到操作虚拟环境中的仿真模型中[1]。
以Unity3D为集成开发平台为基础，通过Solidworks、3Dmax、C4D等对于场景中的机械以及人物进行建模，对发动机维修实习车间、车间教学课堂等真实场景进行高度虚拟化的还原;利用Visual Studio编辑器结合C#语言对内置模型实现可交互式逻辑编程，对于零件间的维修特征、对象行为以及虚拟人行为等交互特征进行参数化描述，实现人机交互功能。在硬件层上，利用全身穿戴设Xsens和HTC Vive对用户的动作进行惯性捕捉，将捕捉到的运动数据同步到虚拟场景中的人物身上。在虚拟环境中实时漫游，查看飞机的结构、系统、设备信息及运行原理[2]。
2 多人协同航空发动机维护系统开发
2.1 基于Xsens MVN的人物模型同步方案
利用Xsens MVN可在另一台主机克隆本体的原理。创建局域网，在MVN内将2台设备的IP地址互通，搭建一条通信网络。Xsens设备获得的原始数据被克隆为完全相同的两份，一份输入连接Xsens的主设备，另一份通过前面搭建的网络通路进入另一台计算机。如此，2台设备上人物的骨骼信息、肢端位置、转角信息将被同步。即一个输入设备同时控制2台主机的两个完全相同的程序，结果也是相同的。但是，由于程序物体完全处于被动，并没有同步的功能，所看同步场景仅是由Xsens模型操作下的结果。若通过手柄或鼠标在任意一方对被动模型进行操作时，被动物体由于缺乏同步指令，无法呈现同步效果。
2.2 基于Photon Cloud的场景内物体同步方案
Photon Cloud是专注于游戏多用户信息同步的云服务器平台，其与Unity合作开发出适配与Unity开发者的同步平台。正如许多MOBA游戏所使用的联机方式，Photon Unity Networking（PUN）为游戏开发者提供了可以同步多端数据的云服务器平台。常见的信息类型有三维坐标、四元素转角、缩放比例、环境信息、人物附属信息、权限信息等。为了区别于虚拟世界中的人物模型，我们称除人物以外的模型为被动物体。当在Unity内创建好同步环境并为需要同步的物体配置好属性之后，当某一用户操作被动物体时，其形态的各种改变会同步到所有场景内的人物[3]。此外，还可根据需要设置不同物体的操作权限。当被动物体的操作权限对所有用户打开时，被动物体可以由多方共同操作。但是，由于该方案完全基于unity对模型各类信息的修改权限，无法突破Xsens对仿真人物的保护权限，对于不具有的信息修改权限的虚拟人物模型，无法实现动作的同步[4]。
2.3 基于unity的Xsens MVN和PUN的混合同步方案
在工程文件中导入SteamVR、XR、PUN的底层文件。（1）以Unity 3D为平台，对于多种软硬件进行集成，实现功能、设备的统一;（2）利用3D Max、Solidworks三维建模软件构建模型，对于Unity中的人物、厂房、机件以及各种工具进行建模;（3）利用Visual Studio结合C#语言制作功能脚本（场景漫游以及拆卸装配的功能），进一步实现人机交互功能，还原发动机拆卸以及再装配的场景[5];（4）利用Steam VR软件对于光学动作捕捉设备HTC Vive进行数据处理 并向unity 3D平台传递位置等数据;（5）利用MVN Animate捕捉动作数据，后利用MVN Analyze即刻输出已验证的数据，导入到Unity中，显示出人物的动作以及操作流程;（6）利用PUN的同步功能，将双方的触发效果、空间变化及模型变化同步至双方虚拟现实设备中;（7）利用局域网，通过局域网将客户端的动作数据从一端的MVN传递到远程的MVN中，以第三人称视角同步实时操作，从而实现异地协同[6]。
3 结语
在可视化的沉浸式虚拟环境中，用户可以在发动机厂房以及机坪进行漫游，感受飞机具体构造，同时高度还原复杂的航空发动机的整体结构以及零部件构成，从视觉、听觉以及触觉上让使用者的操作过程更有沉浸感，脱离单一的教学模式，丰富民航维修教学体系。
以Unity 3D为集成开发平台，有机结合3D Max、Visual Studio、Photoshop等软件，通过设计对象属性信息、编辑零件间的维修特征、对于对象行为以及虚拟人行为等交互特征进行参数化描述。基于MVN平台，近端一方将捕捉到的动作数据通过MVN Analyze传递到Unity 3D平台，而远程的电脑可以通过连接局域网，将客户端MVN中的数据同步到远程的电脑中，穿戴者以及教师可在不同的地方却在同一个虚拟Unity 3D场景中完成对飞机的协同维修，让规范的教学动作多维度地展示在学生面前，实现了教学方式的多样化，进一步推进实现异地多人协同。
参考文献
[1] 张青，郑岩，郭庆，等.航空发动机设备拆装快速装配仿真研究[J].计算机仿真，2018，35（3）：257-262.
[2] 李荣强，文爱兵，花斌，等.航空装备虚拟维修训练仿真模型快速开发技术[J/OL].系统仿真学报：1-9[2021-04-19].https：//doi.org/10.16182/j.issn1004731x.joss.20-0107.
[3] 柳有权，王愿超，徐琨，等.基于混合现实的远程协同式装配维修引导[J/OL].图学学报：1-7[2021-04-19].http：//kns.cnki.net/kcms/detail/10.1034.T.20201207.1444.004.html.
[4] wang peng，zhang shusheng，bai xiaoliang， et al.2.5DHANDS： a gesture-based MR remote collaborative platform[J].The International Journal of Advanced Manufacturing Technolo-gy，2019，102（5-8）：1339-1353.
[5] 賀占魁，黄涛.虚拟仿真实验教学项目建设探索[J].实验技术与管理，2018，35（2）：108–111，116.
[6] 殷复鹏，邓晓红，张雷.基于模块化的虚拟仿真实验室建设[J].实验技术与管理，2020，37（6）：259-262.
①基金项目：2020年中国民航大学大学生创新创业训练计划项目校内优秀培育项目《异地交互式虚拟维修培 训系统》（项目编号：IEKCAUC2020003）。
作者简介：向锦鹏（2002—），男，本科在读，研究方向为飞行器动力工程。