基于深度学习的多尺度双目立体匹配方法

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:ruanmm2588
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像信息的获取与感知是计算机视觉的基础,也是模式识别与人工智能等领域的研究热点问题之一。随着传感技术和计算技术的发展,二维图像信息难以满足生产和生活需要,亟需研究三维深度信息的获取技术和方法。双目立体匹配算法是从二维图像中获取深度信息的重要技术,相比于激光雷达、结构光等接触式测量方式具有设备成本低、稳定性高、易于部署等优点。然而,双目立体匹配任务中仍存在众多问题:由于弱纹理区域与遮挡区域匹配信息缺失,复杂重复纹理区域匹配难度大,深度网络难以提取有效的特征信息,并无法对双目立体匹配代价体实现效果较好的聚合;且具有深度或视差真实值的训练样本获取难度大、成本高。因此,本文重点研究了双目立体匹配方法中的特征提取网络与代价聚合网络,通过提取多尺度的语义信息与纹理信息提高特征与代价体的有效性,并提出了无监督的网络训练方法,旨在解决缺少训练样本的问题。本文主要研究成果如下:(1)提出了一种基于注意力机制的双重池化金字塔双目立体匹配方法,用于在特征提取阶段获得各个尺度上图像整体语义信息以及边缘纹理信息丰富的特征。首先,构建一种双重池化金字塔结构,平均池化金字塔结构实现多个尺度上丰富语义信息的提取,而最大池化金字塔结构则负责对多个尺度上边缘纹理特征的提取。其次,在双重池化金字塔结构中设计并应用注意力机制,实现所提取特征各个通道权重的自适应调整,进一步增强特征提取网络的有效性,最终获得表征能力强且有效信息丰富的特征图。在Scene Flow数据集和KITTI数据集上,本方法取得了明显的精度指标提升,表明提出的基于注意力机制的双重池化金字塔双目立体匹配方法的有效性。(2)提出了一种基于多尺度代价聚合的双目立体匹配方法,以增强代价体的表征能力并提升预测视差图的精度。首先,对于提取出的多尺度特征图构建多尺度代价体,使代价体实现对多尺度信息的保留,并减少代价体中的重复信息;其次,构建了多尺度代价融合网络,使网络在对代价体进行学习的同时,实现对于多尺度代价体到单一尺度代价体的融合;最后,通过代价聚合网络实现代价体的进一步学习,并使用中继监督的方式对网络进行有效的训练。在Scene Flow数据集和KITTI数据集上的实验结果表明,使用多尺度代价聚合的方法可以有效提升网络预测视差图的精度。(3)提出了一种基于置信度图的无监督双目立体匹配方法,用于解决视差真实值获取成本高且难度大的问题。首先,使用一种由视差图获得重建图像的方法构建基于重建图像的光度一致性损失与结构一致性损失,并加入光滑性损失作为正则项,实现网络无监督损失的构建;其次,使用一种置信度图的生成方法并将其应用于无监督损失,使网络获得更加准确与有效的无监督信号,从而提升网络的收敛效果。在Scene Flow数据集和KITTI数据集上的实验结果表明,基于重建图像构建的无监督损失可使网络进行有效的收敛,基于置信度图的方法可有效提升网络收敛的速度与精度。
其他文献
树突状细胞(dendritic cells,DCs)是机体内功能最强的专职抗原递呈细胞,在启动免疫应答和介导免疫耐受过程中发挥关键作用。研究纳米材料对DCs免疫功能的调节是纳米材料免疫效应研究的重要组成部分。另一方面,由于纳米材料具有与天然病原体相仿的尺寸,极易被DCs摄入,通过纳米技术靶向DCs已经在多种疾病的免疫疗法中显示出了潜在的应用前景。而纳米材料较大的比表面积和极强的表面活性使其表面理化
学位
近年来,随着全球经济发展和城市化进程的推进,颗粒物(Particulate matter,PM)成为威胁人类健康的重要因素。PM2.5作为颗粒物中的重要组成成分,由于其比表面积大,尺寸小,在空气中的保留时间长,易携带大量有害物质进入人体,对人体肺部及心脑血管造成损害,从而引发相应疾病的产生。此外,PM2.5可以直接进入并粘附在人的下呼吸道和肺叶,扰乱人体免疫系统进而诱导肺部炎症的产生,受到大家的广
学位
随着社交媒体数据类型的多样化发展,仅仅利用文本信息或图片信息进行流行度预测是不够的,我们可以结合多模态信息更准确地预测流行度。然而,此研究在多模态数据的利用和不同模态特征的融合上仍然面临着一些挑战。首先,和单模态数据相比,多模态数据需要对文本、图像和其他信息(如帖子的类别和标签)进行特征提取,特征具有复杂性,充分利用这些信息比较困难。其次,多个模态的信息需要进行有效的整合,但当前的模态融合方式大多
学位
视频作为一种直观生动的数字媒介,对社会产生了深远的影响。视频在其生产采集、压缩解压、发送接收与读取显示的各个环节中都会无可避免地遭遇失真,这些失真将降低视频作为信息载体反映物理世界的能力。设计合理可靠的视频质量评价方法并系统地预测视频质量,对各类视频应用的发展以及人类视觉机制的深入探索具有积极意义。本文针对现有视频质量评价方法未考虑视频自身的运动信息对感知过程的影响、考虑人类视觉特性不充分以及长时
学位
由于计算机系统在各个领域的广泛使用,软硬件系统的可靠性和正确性对人类生产和生活至关重要。历经数十年的发展,形式化验证已经成为保证软硬件系统可靠性的关键方法。在诸多形式化验证方法中,基于时序逻辑的验证方法得到了普遍的运用。时序逻辑程序设计语言MSVL(Modeling,Simulation and Verification Language)是投影时序逻辑(Projection Temporal L
学位
超高频超声技术因其独特的无创、高空间分辨率以及相对较低的成本在无损检测、生物医学超声成像以及超声治疗等应用研究领域具有广泛的应用前景。作为超声技术的核心元件,超声换能器往往对超声系统的性能起到决定性作用。超高频超声是超声应用的前沿研究领域,超高频超声换能器的研制是限制该技术发展的一大瓶颈,本文针对超高频超声换能器的性能要求,对超高频超声换能器进行了深入且系统的研究,最终研制出了超大带宽的超高频超声
学位
随着材料科学技术的蓬勃发展,溶胶凝胶法目前已被广泛应用于氧化物连续纤维的制备。溶胶凝胶法是一种湿化学方法,具有工艺过程温度低,化学成分均匀度高,产品纯度高等优点。本文采用溶胶凝胶法制备了氧化铝-氧化硅复合陶瓷连续纤维和氧化硅连续纤维,并从可纺性前驱体溶胶的制备、凝胶纤维的成型、凝胶纤维陶瓷化、陶瓷纤维微观结构及力学性能等方面做了详细的研究和表征。氧化物连续纤维由于其特殊的性能在航空航天等邻域具有广
学位
氧化铝纤维具有高强度、高模量、耐磨、高温抗氧化性等优异的性能,与其它材料结合可形成诸多性能优异的复合材料,是目前国内纤维材料研究的热点。硼化合物作为陶瓷材料的重要成分,将B2O3添加到纤维中有望改善纤维的物理化学性能,但目前含硼氧化铝连续纤维的生产在国内仍然存在空白,因此国内研究人员也一直致力于探讨新的纺丝体系和工艺制备直径较细、性能良好的含硼氧化铝基陶瓷连续纤维。本文采用溶胶-凝胶法技术结合干法
学位
随着电子信息的迅速发展,图像数据量的迅速增加,图像分割系统对图像处理的实时性和处理速度要求越来越高。在实时性要求比较高的航空领域中,FPGA(Field Programmable Gate Array)由于其处理速度快及并行处理能力强的优点在机载图像分割领域中得到了广泛关注。基于FPGA的图像分割系统对图像进行处理时,可利用其丰富的寄存器资源以及流水线结构对大量的图像数据进行高实时性的分割处理,能
学位
近年来,随着集成电路行业的快速发展,半导体器件的尺寸不断缩小。当器件尺寸达到深亚微米级别甚至是纳米级别时,传统平面MOS器件的尺寸缩小已经达到了极限。短沟道效应等非理想效应的加重导致了器件性能的严重退化,研究人员开始将目光放到各种具有优秀栅控性能的新结构器件中,Fin FET、堆叠纳米线(NWFET)以及堆叠纳米片(NSFET)结构被相继提出。其中,NSFET在嵌合当前主流Fin FET工艺流程基
学位