基于特征融合的三维点云场景理解研究及系统实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:wangfang1896
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维点云场景理解的分类与分割任务是分析三维点云数据的基础,广泛应用于自动驾驶、遗迹保护、测绘地理、医学检测等实际应用中。随着深度学习和三维点云采集技术的不断发展,研究学者开始对点云的分类与分割方法进行大量研究。目前已有的大多数方法虽然解决了点云的无序性、非结构性以及信息不完整性等问题,但仍未充分挖掘点云的细粒度局部几何信息和上下文信息,存在“表观相似目标不能有效区分”、“小目标误分割”以及“分割边缘粗糙”等问题。针对上述问题,本文主要研究了基于特征融合的三维点云场景理解,实现三维场景理解中的形状分类、零件分割和语义分割任务,并侧重围绕点云的形状特征、局部几何特征、空间上下文信息及特征融合等内容展开研究。本文完成的主要工作如下:1.提出了一种融合细粒度多尺度信息的特征提取方法针对现有方法存在的未充分挖掘点云细粒度局部几何特征导致的表观相似目标不能有效区分的问题,本文提出了一种融合细粒度多尺度信息的特征提取方法。首先通过构建图注意力卷积层学习不同局部区域的细粒度多尺度特征,然后利用空间注意力机制强调不同尺度特征的重要性,将多尺度特征加权融合成更具有鉴别力的细粒度局部区域特征。经实验证明该方法可以充分挖掘三维点云的细粒度局部几何特征,增强网络的细分类能力,总体上提高三维场景理解中形状分类、零件分割和语义分割任务的准确率。2.提出了一种基于上下文注意力RNN编码的特征融合方法针对现有方法存在的缺乏结合细粒度局部上下文信息导致的小目标误分割、分割边缘粗糙等问题,本文提出了一种基于上下文注意力RNN编码的特征融合方法。首先通过双向长短期记忆网络捕获不同局部区域之间的上下文信息,然后通过一种改进的分组注意力机制突出不同局部区域特征的重要程度,将局部区域特征加权融合成包含细粒度局部几何信息和上下文信息的全局语义特征。最后,为了最小化模型训练误差,本文网络的损失函数同时考虑分类损失和相似损失。经实验证明该方法可以充分捕获局部区域间的相关性,获取点云的细粒度空间上下文信息和边缘信息,在物体存在遮挡重叠时,更好地分割出不同的物体,提高点云分类与分割任务的性能。3.设计并搭建了三维点云场景理解系统以本文所提的点云分类与分割算法研究为基础,对基于特征融合的三维点云场景理解系统进行需求分析和总体设计,并利用VSCode、Vue、Python以及Qt等工具加以实现,完成了用户登录、数据处理、模型训练、模型测试、结果展示等模块的设计与开发。本文网络在形状分类任务中总体精度达到了 92.9%,比PointNet和PointNet++分别高出3.7%和2.2%,比A-CNN、Point2Sequence和AGCN均高出0.3%;在零件分割任务中平均实例交并比达到了 85.6%,比DGCNN和Point2Sequence分别高出0.5%和0.4%;在语义分割任务中平均交并比达到了 66.5%,比Grid-GCN和AGCN分别高出8.7%和9.9%。综上,本文提出了一种具有鲁棒性和可行性的三维点云场景理解方法,有效缓解了复杂场景中“表观相似目标不能有效区分”、“小目标误分割”、“分割边缘粗糙”等问题,最后设计并实现了一个界面友好、操作简单的三维点云场景理解演示系统。
其他文献
电动出租车轨迹描述了电动出租车空间位置和其他属性随时间的变化,蕴含了大量的居民出行信息,也反映了电动出租司机的充电习惯和出行特征。本文通过轨迹数据可视分析方法对深圳电动出租车的轨迹数据进行研究,并开发出电动出租车轨迹数据可视分析系统,支持多维度、全方面分析电动出租车在深圳的推广运营情况,从而对电动出租车行业的健康发展提出建议。本文的研究内容主要包括以下几个方面:1.充电事件提取及可视分析。根据电动
第五代移动通信(The Fifth Generation Mobile Communication,5G)和B5G(Beyond 5G)技术既要支持各种类型设备接入,还需满足海量数据流量需求,以支持物联网、人工智能等领域的通信业务。在一些特殊通信场景中,例如灾害应急通信、热点地区扩容,地面通信基础设施遭损坏或难以部署,使得通信质量无法得到保障。搭载无线通信设备的无人机作为空中基站辅助地面蜂窝网路,
得益于各行各业数字化、信息化、智能化程度的不断提高,人们对移动电子设备的依赖也在不断加深。这种依赖不仅体现在对峰值速率,业务时延等传统性能指标上,同时也体现在用户体验、终端续航时长等方面。为了满足这些需求,终端需要在不对传统指标造成较大影响的情况下进一步提升自身的能量效率,减少不必要的能量浪费。非连续接收机制是在提升终端能量效率方面的一项重要解决方案,这一解决方案在较早时间点就已经被引入了协议。目
近年来随着信息网络技术的飞速发展,信息流量需求飞速增长,需要建立高速率、大容量、广覆盖的空天地一体化通信网络系统。而目前卫星之间、星地之间的数据传输主要是微波为载体的通信。由于微波频率资源和技术限制,以微波为载体的卫星通信速率很难有很大提升。而卫星激光通信技术由于设备体积小、抗干扰能力强、保密性强、通信速率提升空间大等优点,为实现星间、星地高速率数据传输提供了新的解决方案。因此,卫星激光通信成为卫
在现如今的移动通信技术研究中,高速数据传输和高频谱效率是重要的研究方向,超奈奎斯特(Faster-than-Nyquist,FTN)传输技术通过压缩相邻脉冲之间的发送间隔来提高频谱效率。低密度奇偶校验卷积码(Low-density Parity-check Convolutional Code,LDPC-CC)作为前项纠错编码(Forward Error Correction,FEC)中的一种码字
雪崩光电二极管(Avalanche photodiode,以下简称APD)由于其在盖革模式下可以实现对单光子信号探测的特性被广泛地运用于量子通信、激光雷达、成像探测、地理监测等各个高精尖科技领域,受到了越来越多的关注。随着应用场景的增多,APD工作环境的温度变化使其无法维持稳定的性能。本文针对APD盖革模式下的温度灵敏性及雪崩自持特性带来的问题,形成了硅APD控制电路相关研究工作,具体研究内容如下
目前国内外的IT领域中linux内核的开发和应用已经非常普遍,应用的领域包括服务器操作系统软件、手机等便携设备、云计算、物联网、智能硬件等产品。未来linux内核的应用会更加广泛,各企业面临的机会和挑战也更多。本文在市场、技术、管理三个方面对项目管理风险进行研究,有助于企业在项目研发中识别、分析和应对风险,保证项目的准确性、有效性、进度和质量,提升产品的竞争力。本文的研究主要有以下几个步骤。(1)
新兴业务对强大计算能力、高容量、低时延和低能耗的需求,对网络性能提出了更高的要求。从移动边缘计算扩展到多接入边缘计算(Multi-Access Edge Computing,MEC),MEC作为一种有效的分布式计算模式,通过将资源部署在网络边缘就近为用户提供计算卸载服务,能够有效地降低延迟,提升服务质量(Quality of Service,QoS)。然而随着用户设备的激增,当存在大量用户竞争有限
由于Ⅲ-Ⅴ族材料在光电子器件尤其是发光器件中被广泛应用,随着硅基光电集成的发展,在硅衬底上异质外延生长Ⅲ-Ⅴ族材料引起了研究者极大的关注,其面临的主要瓶颈问题是高密度穿透位错(Threading Dislocation)的形成。在研究硅基Ⅲ-Ⅴ族材料的质量时,准确地表征其穿透位错密度是非常关键的。它可以为异变外延生长技术的改进提供依据,从而对高质量异变外延的实现起到支撑和助推作用。用来表征位错的方
近年来,随着计算机性能的持续提升以及GPU行业的发展,人工智能中的计算机视觉逐渐成为研究热点。在计算机视觉领域中,动作识别、视频目标检测及目标跟踪因其广阔的应用前景而备受研究者关注。目前动作识别算法的研究多使用人工神经网络,普遍存在计算量大、训练时间过长的问题,多种研究表明脉冲神经网络在功耗和计算速度方面比传统的人工神经网络更有优势。因此如何在不降低准确率的前提下,减少动作识别算法的训练时长正是本