基于深度学习的快速精确立体匹配关键技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:zc198926
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像的深度信息在自动驾驶、3维重建、自主导航等领域中起着至关重要的作用。立体匹配(即RGB双目深度估计)技术能够利用不同视点的平面图像间接地恢复场景的深度信息。这种方式简单高效且成本低廉。近年来,随着神经网络在计算机视觉的广泛应用,基于神经网络的立体匹配方法在精度上取得了重大突破,受到了研究人员的广泛关注。作为非接触测距的重要手段,传统立体匹配方法(互信息、Census变换、SGM算法等)在精度上已经无法满足实际应用的需求。而现有的基于神经网络的立体匹配方法在精度和速度方面很难实现有效平衡。不同维度的匹配代价以及与之对应的代价聚合网络是导致速度精度难以平衡的重要原因,同时网络的复杂度也与匹配精度呈现出明显的正相关趋势。其中,基于3维匹配代价的2维代价聚合网络(Disp Net C、Fast DS-CS、FADNet等)往往速度很快,但精度较低。而基于4维匹配代价的3维代价聚合网络(GCNet、PSMNet、GANet等)速度较慢,而精度很高。因此,如何设计出快速且精确的立体匹配网络是立体匹配的研究难点以及能否真正应用到实际的关键所在。本文围绕快速且精确的立体匹配方法展开研究,主要工作包括以下两个方面:首先通过传统ADCensus算法和2维神经网络的协同互补来减少3维匹配代价造成的信息损失,进而在原有快速方法的基础上进一步提升精度。为此,本文构建了3种不同的协同网络:1)基于双重匹配代价的双边代价聚合网络。通过不同深度的编码结构来捕获不同分辨率的特征信息,并设计特征融合模块自适应地校准特征通道间的重要程度。2)基于多尺度匹配代价的级联协同网络。通过分层聚合多个不同维度的匹配代价来融合传统方法和神经网络的特征信息,并设计了独特的损失计算方法来规避视差不连续的特征区域。3)基于粗视差的分层细化网络。通过视差细化的方式将传统方法和2维神经网络连接在一起,在传统方法生成粗视差的基础上,通过神经网络的匹配特征来逐级优化不同分辨率的视差图,从而改善粗视差图中存在的不良特征区域。其次本文还通过构建视差范围将2维神经网络和3维神经网络聚合起来,在原有高精度网络基础上极大地降低了计算量。根据不同的视差范围生成方式搭建了两种不同的多维协同聚合网络:1)基于视差范围算法的多维协同互补网络。通过手工设计的算法将粗视差转换为视差范围来引导3维网络进行训练,采用多种简单高效的基础网络结构来搭建整体的聚合框架。2)基于左右一致性检查及深度补全单元的多维组相关网络。通过视差细化以及深度补全单元来生成视差范围,使用左右一致性检查更好地判断粗视差图中存在的可疑区域,并结合组相关来进一步提高4维匹配代价的质量。实验表明,通过多尺度匹配代价以及不同维度网络的协同聚合,上述网络能够在原有方法的基础上进一步提升精度,且达到了快速且精确的立体匹配效果。本文提出的方法在KITTI官网中低于100ms以及50ms的立体匹配方法中取得了最佳的性能,并在精度上优于其他快速立体匹配方法。
其他文献
随着近年来深度学习的不断发展,出现了很多结构复杂,性能优异的深度神经网络。越来越多的人工智能应用领域如计算机视觉、自然语言处理和语音识别等都使用深度学习方法解决问题。在构建深度神经网络后,需要给网络提供高性能的计算环境和大量的训练数据,才能充分发挥神经网络的优势。在现实生活中,很多领域难以获得足够的训练样本,因此会造成网络的性能下降。此外,传统的神经网络可扩展性较差也是深度学习方法的缺点之一。因此
学位
多目标跟踪作为计算机视觉的一个重要分支,在智能机器人、视频分析、人机交互等领域都具有最要的应用价值。近些年来,深度学习在多目标跟踪方向的应用极大地提升了跟踪的精度,但随着视频监控、自动驾驶等领域的出现,对多目标跟踪算法的实时性需求也越来越大。为了解决这些问题,本文着眼于在保证多目标跟踪精度的同时提升算法的速度,主要进行了以下几方面的研究:(1)提出一种表观和运动特征融合的多目标跟踪算法。该算法基于
学位
狮纹在中国的发展有其独特的作用和含义,来自异域的狮子题材在丝绸之路中往复传递并逐渐产生变异,在向华夏文明圈传播的过程中慢慢向中原本土转化。受不同时期的社会背景与受众需求影响而有着不同的象征意义,其内在的蕴含不断变化。论文以北朝至元代丝织品中的狮纹为研究对象,以同时期金银器、石刻、绘画、壁画等其他艺术形式上的狮子形象为辅。研究内容如下:论文首先从墓葬出土实物、博物馆的部分馆藏实物和私人所藏狮纹丝织品
学位
为了进一步改善拉萨市墨竹工卡县扎雪乡格老窝村青稞品种单一、品种严重退化等问题,加快推进新品种示范进度,结合当地实际情况及需求,特选取拉萨市农业技术推广总站育种的青稞新品种“苏拉青2号”与当地品种“白青稞”,于2021年在墨竹工卡县扎雪乡格老窝村开展了品比试验,挖掘新品种的丰产适应性及潜力。试验结果表明,“苏拉青2号”新品种广适性高、丰产性好,适合在该区域推广种植。
期刊
伴随着互联网数据的爆炸式增长,如何存储、管理、应用这些杂乱的非结构化数据,已成为人工智能领域的热门课题。知识图谱把杂乱数据中的概念、实体及其关系整理成结构化数据,并存储到图结构中,转化为人类认识世界的形式,利于管理、搜索、分析以及应用海量数据。实体关系抽取作为知识图谱构建任务的重要步骤,主要任务是把非结构化文本转化为结构化知识,直接影响着知识图谱的质量。同时,实体关系抽取还是搜索引擎、人机对话、智
学位
随着针织服装在服装生产销售总量中的占比不断提升,消费者对针织服装的设计感和时尚性的要求不断提高。作为影响针织服装整体视觉效果和风格的重要设计要素之一,针织服装的色彩愈发变化多样。由于针织服装色彩一般主要来源于染色纱线的色彩及其在织物、服装中的搭配使用。随着市场对针织服装生产周期以及对流行趋势的反应速度提出的更高要求,电子纱卡和虚拟展示的逐渐推广,准确挑选符合设计色彩需求的纱线,并在设计与开发中保持
学位
民国至新中国成立之初的这一批留法艺术家在中西艺术史上有着举足轻重的地位,他们大多选择在巴黎高等美术学院与蒙帕纳斯区的大茅屋画室进行学习,并且以油画、素描、雕塑为主要的研究科目,留法艺术家们既接受了西方古典主义、现实主义、写实主义美术的教育,也将西方现代主义的诸多艺术思潮传回中国,奠基与开拓了中国现代艺术的发展并产生了深远的影响。吴冠中、朱德群、赵无极这三位有着相近求艺经历的艺术家是这一群体的代表,
学位
尽管新媒体的发展已对电视媒体产生了强烈冲击,然而,电视媒体迄今为止仍然是我国社会的主流媒体,在信息的传递、共识的凝聚、观念的塑造、文化的传承等方面体现出无法取代的引领性与权威性。本文通过对电视文化视域下传统文化传播现状进行研究后认为,以传统文化为母题的电视文艺节目,其内在表征已不再囿于“物”的局限,真正开始步入深层次的“感知”,由对物态文化层的表达步入心态文化层的表达,也即由对传统文化视觉形象的直
期刊
红外成像系统相对于可见光成像系统而言,具备探测距离远、造价成本较低、全天时工作的优点,红外目标检测技术被广泛的应用在夜间监控和军事领域中。在远距离情况下,红外图像中的目标特征弱、颜色缺失,因此,红外远距离目标检测极具挑战性。近些年来,基于深度学习的光学目标检测算法取得了广泛的研究和应用,但是目前基于深度学习的红外小目标检测算法仍然在一些方面存在缺陷,因此,本文针对红外小目标的特点分别设计了基于深度
学位
气动优化设计是航空航天飞行器设计等应用的重要组成部分,随着飞行器产业的发展和应对复杂现实环境需求的提升,气动优化往往涉及许多相互交织影响的因素,容易导致设计优化空间“爆炸”。全阶的计算流体力学(CFD)方法虽然能够针对特定流动状态进行高精度的模拟,但往往耗时较长难以进行全面的设计空间探索。基于传统机器学习方法的优化技术在构建代理模型、降阶模型等方面有广泛的应用,但这类方法多适用于简单气动优化问题,
学位