基于混合现实的远程合作系统

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:huoqiyin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
1994年现实虚拟连续体概念被提出,这构成了虚拟现实技术领域的开端,随着先进的计算机视觉技术和芯片技术的持续发展,混合现实系统被不断的整合,逐渐高度集成化,因此在诸多领域出现各种混合现实设备。远程合作作为伴随着工业转移而生的新兴领域受到诸多关注,混合现实设备具备高度的沉浸性、直观的显示能力和人性的交互模式等特性,因此将混合现实与远程合作相结合将产生巨大的实用价值。本论文主要围绕着基于混合现实的远程合作系统的设计和实现展开,对系统所涉及到的多相机外参标定,RGBD数据压缩传输以及并行加速进行详细说明和测试,本文的主要研究内容如下:(1)本文提出了基于圆球的多RGBD相机外参标定方法,相机间的外参标定存在多种常用方法,如基于自然场景的方法和基于棋盘格的方法等。但是这些方法通常受限于场景纹理以及标定的可视角度,无法满足多相机形成360度环绕的应用场景。因此,本文首先使用深度相机获取空间内的点云,对点云进行距离阈值的切除,从而排除无关点云,接下来使用球面拟合的RANSAC方法获得圆球的球心,根据不同相机坐标系下的球心坐标计算相机间的位姿变换关系,最终获得在同一坐标系下空间点云,这种方法能够在保证外参标定准确性的前提下,将标定过程中的人员操作降到最低。(2)本文提出了基于视频编解码的RGBD数据压缩传输方法,由于彩色图和深度图不同的属性,我们将彩色图由RGB格式转换为YUV420的格式,人眼对色彩的敏感度不高,因此通过这种方法在减小一半传输数据量的同时又不会产生颜色的色彩失真。由于深度图中的误差将会改变几何结构,因此我们将16位的深度数据分为3部分,并进行向高位移位,空余的低位数据用于抵抗压缩过程中的损失,通过以上方法可以实现RGBD数据的高准确压缩传输。(3)本文使用并行计算对系统进行加速,前面提到的诸多算法内部都是彼此相互独立互不依赖的,因此可以将复杂任务拆解为多个部分,分配给多个核心并行处理,从而有效的减少每帧图像处理的时间。具体而言,我们使用Unity中的Compute shader完成并行的深度图恢复出空间点云及赋予彩色纹理的操作,使用Visual effect graph完成并行的将点云以粒子的形态显示在虚拟环境中。
其他文献
霍尔传感器是磁传感器中应用范围最广、成本最低的传感器产品,其具有高隔离度、高稳定性和强耐受力等特点,适用于传感探测、距离衡量、位置跟踪等多设计和生产领域。霍尔传感器现阶段主要的技术研究重点在高精度、大功率和高带宽设计方向上。高带宽线性霍尔传感作为最新的研究热点,受到国内外传感器领域的科研工作人员的关注。现今已经拥有成熟的技术和设计方案,在实现设计目的高带宽快速传感的同时,也具有高线性度、低失调、低
光学的遥感图像目标检测任务目前被广泛地应用在军事侦察、灾害监测以及城市规划的各个方面,是进一步做遥感图像解析等任务的前提和基础。随着近年来传感器技术的不断发展,遥感图像的空间分辨率越来越高,也提供了越来越丰富的细节信息供算法处理,因此遥感图像的目标检测任务变得越来越重要。近年来深度学习的方法在自然图像的分类以及检测任务当中都得到了广泛的应用,研究人员也开始使用深度学习的方法来解决遥感图像目标检测任
量子信息技术是当前各国都重视的新兴前沿技术,会给通信信息安全、复杂计算、传感等领域带来革命性改变。量子密钥分发建立在量子力学理论的基础上,具有无法从信道窃听而不被发觉的安全特性,基于量子密钥分发及一次一密加密体制的量子保密通信可实现通信的无条件安全。在实际的量子通信过程中,量子传输信道特性会影响量子通信的性能,因此需要研究量子信道传输特性。本文主要研究了水下光量子信道的传输特性及量子密钥分发网络。
随着科学技术的快速发展,战场态势变得越来越复杂,战场中所受到的各种威胁不断增加,尤其是中小型无人机的出现,凭借着机身微小、机动性强、适应复杂地形、作战成本小等优势,给现代防空体系带来了巨大的挑战。为了有效应对无人机带来的挑战,本文设计了一套多种装备联合作战的指挥控制系统,该系统可同时接入雷达设备、光电设备以及微波武器等多种装备,并且具有引导、指挥、协调、控制等功能,使装备具备体系化作战能力。指挥控
GaN基HEMT器件是当前最受关注的电力电子器件之一,具有非常广泛的应用前景。为了不断提高HEMT器件在电源开关领域的的工作性能,需要不断优化其结构与制造工艺,从而提高器件击穿电压、提高p-GaN栅耐压、提升输出电流密度等。为此,本文重点从提升耗尽型AlGaN HEMT器件耐压、降低增强型GaN HEMT器件栅漏电、探索大电流ScAlN/GaN HEMT器件等三个方面,分别对GaN基HEMT器件的
声场景识别是计算机听觉领域的主要研究方向之一,能够与其他声学识别任务相结合以完善计算机听觉系统,声场景识别中的城市声场景识别是与人们日常生活息息相关的研究方向,在公众场所、智能汽车等诸多现实环境中有着广阔的应用前景。然而现有的声学识别研究主要集中在语音识别、声音事件检测等任务上,对于声场景识别的研究不够充分。论文从以下三点展开研究工作:(1)研究传统识别架构并构建基线架构;(2)优化基线架构中的声
近年来,移动互联网与物联网技术得到了迅猛发展,这同时也增加了人们对基于无线通信系统的多类情境感知技术的需求,其中,如何在复杂的信道环境条件下无接触式地实现针对物品材质的高精度与鲁棒性感知检测,已成为目前通信感知技术领域研究的热点问题。随着Wi-Fi基础设施的广泛部署,可以方便地获取信道状态信息(Channel State Information,CSI),其能够细颗粒度地反映当前信道状态变化的特性
随着科技的不断进步,船舶机电设备维修管理信息化建设已经取得了阶段性成果,航运企业在自修-航修-厂修三级维修保障体系下,开始逐渐探索如何利用计算机技术高效地解决维修保养工作中故障件在哪一级维修、在何处维修、如何减少维修费用、如何减少维修时间等问题。虽然航运企业依托船舶管理系统、维修管理系统等系统搜集和积累数据信息的手段越来越多,各种信息系统的数据库规模日益扩大,复杂程度也在不断地增长,但是传统的数据
卷积神经网络在以图像识别为中心的各个领域都有广泛的应用。随着机器学习即服务的不断涌现,用户需要上传大量的数据到服务提供商或者不可信云平台,来支持卷积神经网络的模型训练或者分类预测,这些数据中不可避免的包含了隐私的、敏感的信息,导致用户上传的数据在做模型的分类预测时会面临安全威胁。因此,制定一个安全且有效的隐私保护的卷积神经网络图像分类预测方案十分符合实际需求。方案要求既能满足隐私保护,又可以得到正
随着社会的发展,科学技术的进步,在卫星通信、遥感探测和军事等领域,金属介质和均匀介质已经满足不了现代设备对材料的需求了,非均匀介质的研究被提上了日程。矩量法是一种比较经典的研究电磁问题的方法,可以用来解决非均匀介质的电磁问题,但是存在存储量消耗大、计算效率低的弊端,所以对矩量法阻抗矩阵进行压缩分解就很有必要。本文采用插值分解算法(Interpolative Decomposition,ID)来进行