在智能制造系统的研究开发实践中,会遇到大量的人机交互(Human-Machine Interaction)和需要对机器设备进行远程操控(Teleoperation)的情况。很多数字化智能化的工厂都具备了先进的人机交互系统和对设备进行远程状态检测、调试和维护的能力。尤其是在高温、有毒、高电离辐射等恶劣工况条件下,工程技术人员可以通过先进的人机交互和遥操作技术对现场设备进行遥控操作,从而保护工作人员的身体免于损伤。人机交互和远程操控技术具有大量的市场需求和广阔的应用前景,相关的研究非常热门。随着虚拟现实和5G技术的发展,为人机交互和远程操控技术注入了新的技术元素。基于传统技术的人机交互和远程操控已经不能满足人们的需求。人们需要构建一个具有逼真可视化效果,能够与虚拟场景进行自然交互,在虚拟现实环境中对设备进行远程操控的系统。本文以开发出虚拟现实环境下的人机交互和设备远程操控系统为目标,分别研究了该系统所需攻克的若干技术问题,包括基于视觉的数据采集技术,场景预建模和3D显示技术,低延时、安全远程控制技术。本文主要内容如下:(1)提出通过机器视觉技术采集物理设备动作状态信息的相关方法,设计了多种视觉标记用于标记物理设备,将深度学习算法运用于对视觉标记的识别和跟踪定位,实验表明引入深度学习算法简化了双目和多目视觉的摄像机标定的过程,尤其是需要用到多摄像头,摄像头视野不规则重合的情况下,本文所提出的方法能够很好地识别出附着在设备上和人手上的视觉标志并实现对视觉标志的定位,从而间接获取到所附着物体的姿态、动作等信息。(2)为解决虚拟现实场景实时构建问题,本文设计了一套物理设备预建模并结合视觉信息进行模型实时加载的场景构建方法,不同于三维重建技术,该方法不需要复杂的视觉和激光扫描设备以及高配置的计算机系统。本文使用透镜式VR(Virtual Reality)显示技术,将实时构建的场景,分别投射到左眼和右眼,实现沉浸式立体显示。(3)针对控制信号传输和处理中的延时问题,本文优化了通信链路并提出了一种模型预测显示的方法,以降低信号传输的延时。实现了基于PLC(Programmable Logic Controller)作为控制终端的远程控制。(4)整合本文所提出的多项关键技术,基于HTC Vive头盔显示系统平台,开发实现了一套虚拟现实环境下的人机交互和设备远程操控系统。该系统能够根据视觉采集的信息实时构建3D场景,并能将虚拟环境中的操作关联到实体设备,实现实体设备与虚拟场景的实时同步。