三维点云理解的深度学习方法研究

来源 :武汉大学 | 被引量 : 0次 | 上传用户:yng2005
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着激光传感以及多视影像密集匹配技术的发展,三维点云数据大量涌现,为利用计算机对周围三维环境进行分析和理解奠定了坚实的数据基础。如何对这些海量点云数据进行智能化(自动、高效、可靠)的特征学习与表达,是实现三维理解(包括三维物体识别、语义分割及三维物体生成等)亟需解决的关键问题。然而,面对三维点云大数据,传统三维点云特征描述子面临严峻挑战:1)三维点云具有数据海量、场景复杂、地物种类繁多以及物体结构复杂等特点,传统低层特征往往难以对三维点云内容等高阶语义信息进行准确描述;2)传统低层特征需要针对不同类型的地物进行人工设计提取,智能化水平低,难以适应密度不均匀、含有大量噪声、存在局部数据缺失和遮挡等的现实复杂情况。近年来,深度学习凭借其强大的特征学习能力,已在图像理解等领域引起学术界的广泛关注并取得了丰硕的成果。鉴于传统人工设计的三维点云特征无法描述高阶语义信息且难以适应复杂实际情况等问题,论文通过对二维规则卷积本质的深入探究,主要研究如何将规则图像上的深度学习方法推广到不规则的三维点云上进行特征学习,为利用计算机对三维环境进行分析、理解奠定基础。具体而言,本文的主要研究工作如下:(1)基于多尺度混合卷积的三维点云语义分割。将卷积深度网络应用在点云上的最直接方式就是将三维点云空间体素化,然后将二维规则图像卷积推广到三维点云进行特征学习。然而,不同于二维图像规则、紧致的信息组织方式,三维点云实际只记录三维物体的表面信息,这就导致空间中的多数体素为空,带给三维卷积网络不必要的计算浪费。实际上,卷积可视为一个对邻域点信息进行加权组合的过程,邻域点间的相互影响程度随空间距离增大而衰减。因此,论文对距离较远的邻域空间进行较粗尺度的离散化,使其能够反映邻域的整体情况,而对距离较近的邻域空间进行细尺度的体素化,使其能够关注点云的细节结构,并基于此提出了多尺度混合的三维卷积,不仅能够提高所提取特征对点云噪声等干扰的鲁棒性,同时减少计算浪费。(2)基于可变形点核的三维点云分类与分割。针对点云空间体素化造成的计算浪费以及传统点云局部特征描述子无法适应复杂实际情况的问题,论文提出了一种基于可变形点核的点云几何特征学习方法。卷积的本质实际上是一个模版匹配过程,卷积核在信号上滑动并对其感兴趣的区域进行响应。在三维点云中,我们可直接利用三维点来形成一系列具有特定几何结构的“模板”,并通过将这些几何模板与点云局部邻域匹配的方式来探测和捕捉三维点云中存在的几何结构。同时,为了能够适应复杂的实际环境,每个点核都由一组可学习的三维点所构成。在训练过程中,通过不断调整各点的坐标,使得这些点能够在空间中形成一定的几何结构和形状(如平面、拐角等)。由于该方法直接在邻域点上进行操作,从而避免了点云体素化所带来的计算浪费,同时保证了对点云中几何结构的有效描述。(3)基于注意力卷积的三维点云语义分割。上述三维点云卷积的参数实际均由邻域点的相对位置决定,根据局部三维点所构成的空间结构,卷积核给各邻域位置(如左上角、右下角等)分配对应的卷积权重以对窗口内的邻域信息进行综合。然而,这种基于邻域空间关系的卷积方式忽视了邻域点间的特征差异,例如,当空间中的两个物体“桌子”和“椅子”相邻时,交界处提取到的特征就会因相互污染而无法对这些物体进行准确分割。因此,本文提出了一种注意力卷积,通过同时顾及邻域点相对位置与特征差异的影响来给每个邻域点动态分配不同的注意力权重,从而使得卷积核的形状能够自适应空间物体的结构、学习到的特征能够更加专注地对当前物体进行描述,进而实现高精度的点云语义分割任务。(4)结合共形映射与对抗自编码的三维物体生成。三维物体生成是实现智能化三维理解的更高目标,需要按照指定的约束条件创造相应的三维物体,可看作是特征编码的逆过程。当前直接将三维点云体素化并将二维图像生成网络扩展到三维的方式不仅限制了所生成三维模型的分辨率、且带来巨大的计算浪费。实际上,点云仅记录三维物体的表面信息,这使得三维点云只构成一个嵌入在三维空间中的二维流形曲面。因此,本文先利用共形变换将三维物体点云映射到二维规则平面上,从而将三维物体的生成问题转化为二维图像生成问题,并最终借鉴二维图像的生成网络来实现三维物体生成的目标。
其他文献
学位
肠干细胞是决定肠上皮结构和功能的根源。乳磷脂作为母乳中特有的生物活性物质,在维护肠上皮稳态方面起着关键的作用。然而,由于缺乏合适的肠干细胞体外研究技术,以往关于乳磷脂肠生物学效应的研究均未深入到肠干细胞层面。近年来,随着三维(3D)肠类器官技术的出现,使得在体外长期维持肠干细胞的自我更新和分化成为可能。本课题基于小鼠肠类器官的体外培养,结合传统小鼠(疾病)动物模型,系统研究了乳磷脂对正常小鼠和不同
玉米是我国第一大作物,不仅是重要的粮食来源,而且是重要的饲料和工业原料,在国家粮食安全方面发挥着关键作用。随着玉米消费持续增长、耕地面积不断下降,预计在未来很长一段时间内,玉米生产和育种的首要目标仍然是追求高产。玉米花序结构性状是玉米产量构成及重要的影响因子,也是玉米驯化和育种选育的关键性状。因此,研究玉米花序结构性状,不仅对玉米遗传改良和高产育种有重要的实践意义,而且对阐明玉米花序发育的分子机理
学位
学位
低温作为一种重要的环境因子,对植物的生长、发育、代谢和地理分布有重要的影响。为了应对低温造成的不利影响,植物进化出复杂的机制来抵抗胁迫。近年来的研究发现油菜素内酯(BR)参与了植物的低温适应,低温可诱导BR相关的转录因子BZR1去磷酸化而影响基因表达,从而提高植物的抗冻能力。然而,低温调节BZR1转录活性的机理仍未清楚,BZR1在低温下的生物学功能仍有待深入研究。本研究使用生理生化、遗传学和生物信
研究目的本文重点研究纯钛植入体表面微纳分级通透性结构的获取及对骨整合的影响和调控机理。优化纯钛表面微纳分级通透性结构的制备方法,运用材料学方法对该结构的理化性质进行综合评价。探究微纳分级通透性结构对成骨细胞的生物学作用及机制。研究内容和方法1.通过扫描电镜(Scanning Electron Microscope,SEM)、能谱分析仪(Energy Dispersive Spectrometer,
血管生成是指从已有的脉管系统通过出芽形式形成新血管的生物学过程,在肿瘤等疾病发展中扮演着重要作用。血管密度可作为肿瘤转移潜能的重要预后指标,抗血管生成治疗已成为控制实体瘤生长和转移的有效策略之一。与正常细胞相比,癌细胞需要更高水平的活性氧(Reactive Oxygen Species,ROS)维持其恶性表型,因此更加容易受损于促进ROS生成的试剂(促氧化剂)。然而,当前从促氧化的角度设计天然产物
目的:慢性萎缩性胃炎(Chronic atrophy gastritis,CAG)是消化科常见疑难病,属于慢性胃炎的一种,以胃镜下黏膜活检提示胃黏膜固有腺体减少,伴或不伴有肠上皮化生及异型增生为诊断依据。其诊断手段单一,可接受性较差,加上缺乏有效、准确的血清学指标,这大大阻碍了CAG相关研究工作的开展。CAG作为胃癌前疾病,其治疗目前以改善症状和营养胃黏膜为目标,西医没有特效药物逆转萎缩、肠化、异
自然流产(SA)是指临床妊娠28周以前发生的流产,是妇产科常见的生殖障碍疾病,其中早期自然流产是指临床妊娠12周以前发生的流产。一直以来,学术界对自然流产的研究从未间断,尤其随着国家全面开放二胎政策,自然流产的发病率逐渐增加,其发病机制尚未完全明确。滋养细胞在早期妊娠起到重要作用,有很多研究表明滋养细胞功能的失调可导致自然流产,如滋养细胞侵袭功能不足易引发自然流产,其凋亡增多及增殖不足则可导致自然