【摘 要】
:
三维点云的语义分割是实现三维场景理解的基础和关键,准确的点云语义结果对于自动驾驶、工业检测及数字医疗等领域都具有重要的实际意义。随着实际应用场景越来越复杂,传统人工设计的特征算子陷入了瓶颈,而基于数据驱动的深度学习方法在语义分割的精度上有了巨大的提升,但仍然存在以下不足:基于单一视图的点云语义分割算法存在着局限性,导致难以达到性能与精度的平衡;点云的多视图融合虽然可以利用不同视图之间的差异性来提升
论文部分内容阅读
三维点云的语义分割是实现三维场景理解的基础和关键,准确的点云语义结果对于自动驾驶、工业检测及数字医疗等领域都具有重要的实际意义。随着实际应用场景越来越复杂,传统人工设计的特征算子陷入了瓶颈,而基于数据驱动的深度学习方法在语义分割的精度上有了巨大的提升,但仍然存在以下不足:基于单一视图的点云语义分割算法存在着局限性,导致难以达到性能与精度的平衡;点云的多视图融合虽然可以利用不同视图之间的差异性来提升整体分割性能,但是现有的融合方法十分简单,一般只关注到了两种视图差异,并不能让多种不同的视图之间“取长补短”。本文围绕基于多视图融合的点云语义分割开展了相关的研究。多视图的融合算法设计需要综合考虑多视图的原理、处理方式和性能等因素,因此本文首先对点云的多视图表示进行了研究,并以此为依据,进一步研究多视图融合的统一范式,设计并实现了在室内和室外场景下适用的语义分割算法,具体包括以下几个方面内容:1、针对多视图高效融合问题,提出了一种针对任意多视图的多层级式交互融合框架,其由交互学习机制与门控融合模块两部分组成。交互学习机制是由点与其它视图的索引系统和特征传播来实现的,通过以点表示为中间载体,实现多个视图间信息的交互流动,此外本文提出了一种自适应门控融合模块来对不同视图的特征进行自适应融合。2、针对室内场景点云语义分割问题,设计了基于点-体素交互融合的网络。室内点云往往具有高分辨率,体素类方法存在量化误差,利用额外的点支路能够弥补信息的损失。本文利用稀疏算子、稀疏通道注意力模块来提升体素分支的性能,并采用条件随机场进行分割结果优化。此外,本文利用所提方法进行了室内三维牙齿分割应用,有效地对各个牙齿类别进行了分割。3、针对室外场景点云语义分割问题,设计了基于环视图-点-体素交互融合的网络。由于室外点云存在数据规模大、数据稀疏和遮挡严重等问题,所以实现实时、准确的语义分割具有更大的挑战性。本文通过引入高效的二维环视图分支来减少体素分支对高分辨率的依赖,从而提升网络的实时性,同时环视图分支能够弥补体素分支在部分类别上语义信息的不足,增强网络的准确性。此外针对大场景训练数据不平衡的问题,提出了实例混合的数据增强方式。本文还对模型的泛化能力进行了探究,证明其在不同线束雷达数据的路面分割应用上仍然表现良好。
其他文献
稠密高程地图构建对于移动机器人星面探测、野外搜索等任务应用有着重要的作用,但是稠密地图构建存在数据量大、计算量大的难点,这对大范围地图存储和实时地图更新带来了巨大的挑战。本文基于2.5D稠密高程地图表示形式,提出了带有可行域信息的局部稠密高程地图快速构建系统、满足回航需求的可扩展全局一致的全局稠密高程地图在线构建系统和利用稠密高程地图的地点重识别融合网络。主要研究成果如下:1.设计了一种带有可行域
面向工业巡检的数字仪表读数识别普遍利用人工识别并记录仪表读数信息的方式,然而人工方式记录读数是影响工厂生产效率的重要因素。当工厂使用人工抄表,不可避免出现记录错误读数,耗时长等问题。因此,利用巡检设备自动优化记录过程,提高生产效率,并为记录读数提供准确保障。本文分析了工业巡检中数字仪表读数识别的影响因素,并根据工业巡检的功能和性能需求,设计了一种能够实现工业数字仪表读数实时识别的方案。本文利用巡检
作为机械臂操作的“圣杯”问题,无序抓取应用场景广泛,而稳定快速的物体识别和位姿估计算法则是该问题中的关键之一。本文针对无序抓取场景,应用基于物体渲染的样本合成方法,在已知物体CAD模型的基础上,合成大量训练数据,构造虚拟数据集,采用Mask R-CNN网络实现了堆叠场景的多工件识别与分割。在获取单目标工件数据后,提出了基于点对特征的改进算法,并且针对传统算法实时性差的问题,提出了基于深度学习的密集
河流作为水环境中的重要组成部分,在供给水源、维持生态、美化景观等诸多方面扮演着不可或缺的角色。但是,目前人类活动和自然因素导致河面频繁出现大量漂浮物,严重破坏了河道景观和水生态环境,已成为河道监管中重点关注的问题。在国内各省市全面推行落实“河长制”政策的背景下,很多地方开始采用摄像头进行河湖可视化监管以促进河湖面貌改善,但是人工参与程度依然较高,单纯依靠人力观看大量的监控资料来判断河湖状况。在这种
推荐系统的发展离不开大规模高质量的数据,多家相关企业往往会以数据直接共享的方式提升推荐系统效果。但随着用户数据隐私意识的提高和数据保护法规的完善,多方参与的推荐系统的数据隐私安全问题受到越来越多的关注。本文针对多方参与的推荐系统的数据隐私保护存在的问题,利用联邦学习技术提出了一种高效的基于纵向联邦学习的推荐系统,在提高多方参与的推荐系统数据隐私安全性的同时也极大的降低了引入隐私保护技术的代价。本文
作为中枢神经系统的核心,大脑是人类区别于其他物种的重要部分,而大脑发生异常或者病变会对人的基本生存能力造成重大影响甚至死亡。在大脑或者脊髓组织中产生病变细胞的疾病称为脑瘤,其患者五年生存率仅约为35%,但是脑内组织边界模糊,病变(异常)区域和正常组织难以界定。脑病变的判定以及病变区域的定位是进一步治疗和诊断的前提,然而医生去完成这些工作不仅仅需要丰富的行医经验和医学专业知识,而且还需要投入大量的时
对肺部病灶进行实时精确定位一直以来都是肺部疾病诊疗中的难题。由于肺部软组织会随着呼吸、心跳等干扰因素动态移动,传统基于CT静态影像或者体外标记物的定位方法只能给出病灶、血管、气管等重要组织在特定时刻的位置信息,难以获得精确的动态位置信息,这为肺肿瘤穿刺病理诊断和手术治疗带来了极大的困难。为解决些难题,本文针对呼吸运动下的肺部软组织目标跟踪问题展开研究,借助肺部动态X射线影像的实时观测数据,提出一种
在现代物流仓储场景中,快递包裹吞吐量日益增加,如何实现高效率的货物分拣成为现阶段仓储管理系统发展的重要目标。目前仓储场景中已基本实现摄像头的全覆盖,利用这些摄像头搭建人员全局定位跟踪系统有助于实现仓储场景内“人-货-场”的协同优化,提高分拣作业效率。然而,目前广泛使用的目标检测算法难以实现对仓储场景下被遮挡行人的检测,常用的多目标跟踪算法无法鲁棒跟踪仓储场景下着装统一的行人。针对上述问题,本文设计
指纹识别是应用最广泛的身份认证技术之一。随着移动终端集成度的增加和消费者对终端轻便性要求的不断增长,指纹传感器采集面积不断减小,从而导致了用于指纹匹配的有效信息减少;另一方面,移动终端上指纹的采集条件复杂多样,且诸如皮肤龟裂、污渍等不利条件会对指纹图像造成影响。因此,小面积低质量指纹识别技术不仅是一项具有广泛应用前景的身份认证技术,而且是一项迫切需要解决的技术难题。本文的研究聚焦于低质量小面积指纹
实时流数据作为高速连续到达的数据序列,在工业控制,实时监控,自动驾驶,信号处理等与嵌入式系统密切相关的领域广泛出现。随着嵌入式系统对实时流数据的处理性能要求越来越高,嵌入式系统上传统的实时流数据处理系统遇到了瓶颈,数据传输速度、实时性与数据处理带宽等方面的问题越来越突出。针对嵌入式系统对实时流数据进行处理时数据传输速度、实时性与数据处理带宽等方面的问题,本文给出并论述了一套基于VPX嵌入式系统的高