基于深度图预测的三维点云重建算法研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:caiwenta
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今计算机视觉发展迅速,作为计算机视觉的一个重要组成部分,三维重建技术在医学成像、增强现实和自动驾驶等应用中起到重要作用并日益促进人们的生产生活发展。三维重建利用已知相机参数从一组校准的2D图像中恢复场景的3D几何形状,重建出的点云能够更加直观的解释各个物体的空间位置关系。因此,研发出准确性高、完整性强的三维点云重建算法成为越来越重要的研究课题。三维点云重建研究主要分为两类,分别是基于传统方法的三维点云重建和基于深度学习的三维点云重建。其中,基于深度学习的三维点云重建中又包含基于点云重建、基于体素重建和基于深度图重建等多个类别。基于传统的方法操作简单、成本较低,但由于计算复杂度较高、消耗时间多、效率低等原因,使得传统重建方法在应用场景受到了很大的限制。基于深度学习的重建方法有着较高的灵活性,对于室内室外不同规模场景重建的适应性有着较好的表现。尽管基于深度学习的三维重建取得了较为优异的效果,但在三个方面仍有改进的余地。首先,在特征提取过程中,最重要的是在通道维度和空间维度中捕获特征的长距离依赖性,否则将会丢失大量的特征信息细节,使得重建精度受到限制。其次,在多视图重建中计算像素匹配代价时,需要学习不同像素对的权重,以便模型能够自适应地计算像素匹配代价,更加直观地反映不同视图中像素对之间的差异。第三,由于像素视差与深度成反比,在像素的匹配代价体中假设深度平面之间的间隔应逐渐增大,以使像素能够沿极线方向准确地找到其匹配像素。本文对基于深度学习的高精度三维点云重建进行了系统的研究,针对上述问题,提出一种级联深度残差图推理网络,称为DRI-MVSNet。DRI-MVSNet主要包含三个模块,分别是通道和空间组合处理模块、跨视角相似性特征图融合模块和多阶段深度残差预测模块。首先,使用通道和空间组合处理模块获取特征图的相关通道信息和空间信息;其次,通过跨视角相似性特征图融合模块,直观地反映源图像与参考图像之间像素的差异;最后,通过多阶段深度残差预测模块,使源图像的投影像素沿极线方向均匀分布,提高深度残差估计的准确度。DRI-MVSNet对现有网络做出了以下三项改进。(1)为了更全面地捕获特征图的相关上下文信息,设计了一种通道和空间组合处理模块。该模块通过结合通道注意机制和空间池化网络来处理通道相关信息和空间信息,以提高特征表示能力。(2)为了以较少的内存消耗完成多视角特征图的融合,提出了一种跨视图相似性特征图融合模块。该模块通过引入二维相似度权重图来融合多个特征图,并能够直接学习到每个源图像中像素与参考图像中像素之间沿着参考相机视锥体在不同深度平面上的匹配度。(3)为了提高深度图估计的精度,设计了多阶段深度残差预测模块。初始深度图通过与每个阶段估计出的深度残差值结合的方式提高其准确度,其中深度图预测采用非均匀深度采样策略来构造假设深度平面。本文进行了大量实验,DRI-MVSNet在DTU数据集上准确度达到0.432、在完整度达到0.327,、整体分数达到0.379,实验结果与最新的算法进行了比较,本文算法在完整度上体现出了更加优异的效果。在Tanks&Temples基准数据集上进行了测试,在大多数场景中,DRI-MVSNet方法都显示出更出色的结果,具有较强的泛化能力,并由F1-score表示出来。实验结果表明,本文方法不仅在重建效率上有着大幅提升,同时具有更好地重建效果。
其他文献
<正>小伙伴们,新的学期开始了!寒假期间在家就能睡想睡的觉,想怎么躺就怎么躺!想去哪玩就去哪玩!没有门禁没有熄灯!没有断网没有断水!不用在饭堂挤队打饭,想吃什么就吃什么的日子即将结束。你是感到惊喜?还是意外?听说最近全国各地学校都在上演史诗大片《开学》,不知道在假期玩high了的同学们,是否患上了"假期综合症"呢?下面小编给你配上几贴药,保证药到病除!
期刊
目前,神经网络极大推动了各个领域的研究,越来越多的神经网络模型被研究人员设计并提出,如卷积神经网络、循环神经网络等等。深度学习在许多领域的成功很大部分依赖于大量可用的训练数据,深度学习模型可以从这些欧几里得数据中提取到数据本身隐藏的信息。然而,越来越多的数据以非结构化的形式存在。因此,在过去几年中,研究人员不断提出能适用于处理复杂图数据的模型并使其迅速发展。图神经网络是一种处理非欧几里得空间数据的
学位
机器阅读理解是自然语言处理领域最热门的课题之一。特别是随着深度学习的兴起,机器阅读理解算法也得到了充分的发展。现有的机器阅读理解任务可以归结为4类,分别是:填空式阅读理解任务、选择式阅读理解任务、抽取式阅读理解任务和生成式阅读理解任务。抽取式任务是近些年研究频率最高的阅读理解任务,需要在大量文本中去寻找答案,而且文本中会出现一些似是而非的答案,对比其他任务,抽取式任务面临的问题也更困难。本文主要面
学位
语义分割作为计算机视觉领域的一个热门研究分支,在无人驾驶、医疗图像分割等领域具有重要的应用价值。语义分割是像素级别的分类任务,对输入的图像进行逐像素分类。在无人驾驶任务中,路况场景检测是需要重点关注的内容。实时语义分割可以对道路驾驶场景进行分割,帮助无人驾驶系统了解路况信息,及时做出决策。传统自动驾驶技术首先通过传感器采集驾驶环境的数据,然后利用算法进行数据分析,最终按照分析结果来控制车辆。而基于
学位
在新一轮基础教育课程改革过程中,发展学生的核心素养是基础教育改革与发展的重难点。在初中数学教学中培养学生的核心素养是较重要的教学任务,教师需准确把握核心素养的内涵、厘清核心素养培养与数学课堂教学的关系,从教学目标精准化、教学内容深度化、教学模式多元化等维度来构建数学高效教学课堂。文章基于核心素养视角,从“问题”和“策略”出发,探索了初中数学课堂核心素养发展的有效路径。
期刊
期刊
<正>在培养学生数学素养的过程中,教师要引导学生学会用数学眼光观察现实世界、用数学思维思考现实世界、用数学语言表达现实世界,而这些素养的形成需要教师做好每一次的教学准备,让学生在日常学习中实现相应能力的获取,进而实现综合素养的不断提升。本文从不同的教学方法入手,如打造教学情境、运用信息技术、实施课前预习等,分析在数学教学中培养学生核心素养的有效策略。一、初中数学教学中落实学生核心素养培养的意义(一
期刊
培养学生核心素养是新课程教育理念中的重要一环,也是初中数学教学的重要目标.文章首先从初中教学需要解决的问题入手,然后结合典型案例,深入探讨将核心素养融入初中课堂的教学方法.通过对现有初中教学方法的分析,研究出优化课堂教学并将核心素养融入初中课堂的教学方法,以期为初中数学教师提供教学参考.
期刊
初中数学教育教学作为义务教育阶段学校教育的重要组成部分,教师应当根据新课标提出的核心素养培育要求,实现教学方法的优化。基于此,本文分析了核心素养视角下优化初中数学教学方法的逻辑动因,并通过教学案例,深入探讨了优化初中数学教学方法的对策,希望能为从事初中数学教学的同仁提供有益借鉴。
期刊
随着经济的快速发展,车辆在人们的日常生活中越来越普及,已经成为出行必备的交通工具,停车难的问题也随之而来并且日益突出。之所以停车难,一方面由于停车位数量不足,无法满足停车位的巨大需求;另一方面,司机无法及时、准确获取附近空闲停车位,导致停车位利用率不高。这不仅造成了资源浪费,在交通安全、环境治理等方面带来的影响也不容忽视。为了使司机能够快速获取车位信息,解决停车难问题,本文研究了车辆检测算法,并基
学位