多模态立体视觉对象的表示与识别

来源 :厦门大学 | 被引量 : 0次 | 上传用户:liongliong540
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
立体视觉对象的表示与识别在工业制造与智能交通中扮演着重要的角色,因此吸引了学术界的广泛关注。立体视觉对象常见的表示形式有:点云、视图、体素、网格等。对于立体视觉对象,不同的表示形式有着完全不同的数据组织结构,因此使得立体视觉对象的学习任务难度大增。特别是在多模态的联合表示学习上,不仅要解决单一模态的学习问题,还要提出合适的框架去融合不同模态的数据表示,从而达到对立体视觉对象更加精准的多模态联合刻画。本文从三个角度去解决立体视觉对象的多模态联合表示问题。首先,本文提出一种基于组视图的多视图精准刻画算法,用于对多视图下立体视觉对象的精准刻画。其次,本文提出一种基于点云和多视图的多模态联合表示算法,同时从局部和全局两个角度融合了点云与多视图的高维特征。最后,本文提出一种基于关联的多模态联合表示算法,该算法能够自动的选择与点云互补的视图进行融合,从而提高了多模态联合表示算法的识别精度和可解释性。同时本文还分别提供了三种网络模型的结果可视化,分别证明了组视图网络能很好的区分视图的可辨别度,以及点云与多视图关联网络能自动筛选出互补点云视图对。在公开数据集ModelNet40上的实验表明,本文提出的组视图卷积神经网络、点云多视图联合网络以及点云多视图关联网络,在立体视觉对象分类和检索两个任务上均取得了不错的结果。
其他文献
针对中国健康街道缺乏本土化指标的问题,以我国城市街道为研究对象,在健康街道理念下,采用影响要素筛选的评估方法,提出以街道环境、公共空间、交通通行、街道安全、设施公平5项健康评价影响要素,通过居民意向调查,采集街道的特征、交通行为数据,并依据我国街道设计标准,构建在公众参与下科学的健康街道量化评价指标。研究表明,该指标能更清晰地反映我国街道健康问题,适用不同等级的街道,为健康街道设计及评价提供参考依
期刊
针对肝脏肿瘤CT图像的目标检测是智慧医疗建设的重要组成部分,然而由于肝脏CT图像中的肿瘤具有目标尺度跨度大、小目标多、分布稀疏、目标边缘模糊、背景复杂等诸多特点,导致肝脏CT图像中的肿瘤小目标检测仍然是一项极具挑战性的任务。论文将自适应训练样本选择(Adaptive Training Sample Selection,ATSS)引入肝肿瘤目标检测领域,提出一种小目标检测模型IPSC-ATSS(Im
学位
微创外科手术由于其术后恢复快,并发症少等优点已成为主流的手术方式之一。但其也存在缺陷,在传统的开腔手术中,医生能够凭借视觉和触觉的感知定位手术环境中的神经血管束。而在微创外科手术中,医生根据内窥镜提供的手术视觉(视频画面)操纵手术工具进行手术,该过程中医生失去了触觉感知,且仅凭肉眼无法观察到视频图像中组织表面细微的脉动运动,从而无法精准感知神经血管的位置与运动状态等重要信息。因此,医生在微创手术过
学位
中国保险业自上个世纪八十年代以来步入了快速发展的阶段,我国保险行业的发展也引起了国内外资本的广泛关注,同时,伴随着改革开放和中国加入WTO,中国市场正不断吸引外国资本进入,与此同时带来的是我国保险市场的资本组成和公司性质开始逐渐多样化,保险行业市场主体越来越多,保险行业的市场规模越来越大,民众认可度也越来越高。无论是中国保险市场的保费收入体量、保费深度、保费密度,还是保险系统机构数量都有了快速的提
学位
自法拉第发现磁光效应以来,磁光器件的应用已经成为光通讯以及集成光路等领域中不可或缺的一部分。磁光材料作为磁光器件中的核心,对器件的性能起决定性作用。而磁光材料中的磁光晶体由于其高透过率,优异的磁光性能,高温稳定性,在各类磁光器件的制作上占据了最为重要的地位。基于此本文研究了广泛应用于磁光器件中的铽镓石榴石(TGG)晶体,以及下一代高级替代物,热门磁光晶体铽钪铝石榴石(TSAG)晶体的制备。主要包括
学位
<正>设计意图中国神州载人飞船成功发射,中国空间站的“天宫课堂”,都引发了大班孩子对中国运载火箭及载人飞船的兴趣。前期我们在班级开展了关于中国运载火箭的相关活动,在此基础上,我设计了“造火箭”活动,借助情境引入,让幼儿寻找制作材料、安装火箭零件,最终共同完成模拟火箭的发射任务,在此过程中感知和理解行与列,并通过层层的学习与挑战,不断激发幼儿参与活动的兴趣,培养幼儿认真专注、不怕困难等良好的学习品质
期刊
用于天文高分辨光谱波长定标的法布里-珀罗标准具(FPE)具有宽波长覆盖与密集透过峰序列的光谱,有望实现比传统定标源更高的波长定标精度。然而FPE透过峰波长是未知的,这为定标带来了挑战。本研究在不借助额外精密测量设备(如傅里叶变换光谱仪)情况下,使用天文高分辨光谱仪常规定标源钍氩灯(ThAr)为FPE提供波长信息,再利用FPE密集的透过峰序列以及电介质反射膜穿透深度与波长关系的平滑性质,修正波长信息
期刊
本论文包含两部分的工作,第一部分是N-芳基仲酰胺与异腈酸酯成环反应合成2,3-二取代喹唑啉-4-酮的方法学研究(第二章),第二部分是四氢异喹啉生物碱(-)-quinocarcin的不对称全合成探索(第三章)。一、N-芳基仲酰胺与异腈酸酯成环反应合成2,3-二取代喹唑啉-4-酮的方法学研究(第二章)发展了以Tf2O/2-Br-Py体系为基础,活化仲酰胺并与异氰酸酯成环反应直接制备2,3-二取代喹唑啉
学位
光谱探测技术在未来智能装备中发挥着视觉检测、理化分析和过程控制等智能识别的作用,广泛应用于食品安全、医学诊断、环境监测、防伪鉴别、植物病害抑制、预警侦察等领域。传统光谱探测系统因受限于分光元件而存在体积大、成本高和定制化能力有限等问题。基于微机电系统(MEMS)技术的法布里-珀罗(FP)滤波芯片为微型化、低成本和定制化的光谱探测系统提供了新的解决途径。近三十年来,针对实用化MEMS-FP滤波芯片的
期刊
主客体化学是二十世纪七十年代由超分子化学衍生出的一门分支学科,经过五十多年的迅速发展,已经成为联系有机化学、生物化学、高分子化学以及新型材料科学的重要纽带,并且在医学、影像学、仿生学等领域有着广阔的应用前景。基于主体、客体之间的主客体组装,客体分子的选择多为平面的多环芳烃,而巴基碗并不是一类常见的客体分子。巴基碗作为富勒烯的片段分子,是一类碗形的芳香烃化合物,主要分为心环烯(Corannulene
学位