【摘 要】
:
在过去的20年里,基于视觉的三维稠密重建领域经历了巨大的发展,在许多场景中实现了新的应用,如汽车的自动驾驶、考古现场的复原、VR场景的定位和建筑物的损毁鉴定等。然而,尽管该领域发展迅速,仍存在许多待需解决的问题。其中,户外场景的大规模重建以及动态物体追踪在现实应用中至关重要。在现有的解决方案中,基于单目相机的视觉同步定位与构图技术(Visual Simultaneous Localization
论文部分内容阅读
在过去的20年里,基于视觉的三维稠密重建领域经历了巨大的发展,在许多场景中实现了新的应用,如汽车的自动驾驶、考古现场的复原、VR场景的定位和建筑物的损毁鉴定等。然而,尽管该领域发展迅速,仍存在许多待需解决的问题。其中,户外场景的大规模重建以及动态物体追踪在现实应用中至关重要。在现有的解决方案中,基于单目相机的视觉同步定位与构图技术(Visual Simultaneous Localization and Mapping,V-SLAM)由于其输入设备拥有简单的结构、低廉的制造成本,在传统方法中受用广泛,但是这些基于图像特征的方法不仅受采样条件、外界光照影响严重,而且在动态环境也下难以保持性能与效果上的平衡。随着人工智能技术的迅速崛起以及一些大型图像数据集的建立,先使用基于深度学习的有监督神经网络来获取深度信息,然后做位姿估计实现点云融合的两阶段三维重建技术发展的非常成熟。这种监督方法对标签数据要求很高,而准确有效的RGB-D数据需要精密仪器的辅助采集,很难获得。针对以上问题,本文利用无需真实深度数据的自监督学习来估计深度,并获取语义信息,一起做为动态场景下重建稠密地图的必备条件。算法流程主要分为深度估计与点云融合两个阶段,首先用单目相机输入视频流,利用语义线索将物体分类为静态背景或移动的目标对象,进行深度估计后输出每一张RGB图的相对深度图;然后通过点云匹配获取相机自运动的位置轨迹与旋转角度;最后将背景与对象分开处理,进行点云融合和表面建模就可以实现静态背景的高质量稠密建图和刚性动态物体的重建。在本文方法的细节中,为了高效地获得输入图像的深度信息,首先搭建一个端到端的自监督框架,用两个“编码器-解码器”式子网络同步训练单目图像的深度预测任务和相机运动位姿预测任务,并在编码器中利用空洞卷积上下文模块以及金字塔池化层获取图像特征信息,初步提升了效果;同时,在解码器中使用FRe LU激活函数代替原有的ELU函数,并通过不同解码层输出的多尺度结果参与损失函数计算进一步提升了精度;其次,针对运动目标,设计Align机制结合Mask R-CNN分割网络生成的语义信息掩膜去追踪动态物体;最后利用输出的深度图、动态物体信息,在室外场景公开数据集KITTI上完成了动态场景下三维信息的重建实验。通过对比一系列深度估计算法,在与其他自监督方法比较中,本文方法的深度预测在平均相对误差项与误差震荡程度上都达到了最优,在精度项中误差小于1.25~3的像素数占比上也达到了最高;同时对比于有监督方法也具有竞争力,精度接近于最新的有监督方法。同时在稠密重建的实验中,输出模型的整体较为完整,细节部分清晰,不存在伪影,在各种室外真实场景中有较大的实用价值。
其他文献
深入全面地研究交通基础设施的空间溢出效应,有助于更好地了解中国各地区间的发展不平衡因素,从而使其在整个国民经济中发挥作用。利用中国30个省份2000-2019年间的多个指标数据,通过构建不同权重矩阵下的空间计量模型,实证测度了中国交通基础设施(公路、铁路)对区域经济增长的空间溢出效应。研究发现:交通基础设施对区域经济增长的空间溢出效应非常显著,若不考虑空间溢出效应,会高估交通基础设施对区域经济增长
近几年来,智能移动机器人技术及其智能化的程度在不断提高,机器人在各领域中的应用也越来越广泛。特别是对于室内场景而言,对周围环境进行感知是移动机器人研发领域中最重要的组成部分,这也体现了机器人智能自动化的程度,是实现移动机器人定位和自主导航等功能的重要前提条件。SLAM(Simultaneously Localization And Mapping)同步定位与地图构建作为移动机器人智能感知的关键技术
通过分析氧化烧损生成机理和影响的主要因素,结合某钢厂2 250 mm热轧加热炉生产控制实际情况,全面分析了其氧化烧损率偏高的主要原因,制定和实践了有针对性的关键控制措施,降低了其氧化烧损率,对同类型热连轧加热炉降低氧化烧损率方面具有借鉴作用。
随着科技发展与生活水平提高,室内服务机器人在生活场景中的应用更加普遍,其核心的同步定位与建图(Simultaneous Localization and Mapping,SLAM)技术面临更多挑战。在室内环境中广泛存在的光滑墙壁、玻璃以及走廊等低纹理或特征重复场景下,极易出现特征提取稀疏或跟踪失败等情况,影响后续定位与建图的精度。本文将点特征与线特征深度融合,应用于SLAM系统中的前端特征跟踪和闭
<正>我国是多民族国家,在几千年的发展史中,各民族在生产和生活中创造出丰富多彩、形式多样的体育项目。这些体育活动不仅是多元民族文化的体现,也是中华民族优秀文化的重要组成部分,正是这种多样的文化丰富了人类的生活,成为人们健身和娱乐的重要途径。那么如何实现我国优秀的民族传统体育文化活态传承,便成为中华儿女面临的重要任务。《民族传统体育文化研究》是宫祥辉、孙明和等人的著作,于2014年7月由新华出版社出
同时定位与建图(Simultaneous Localization And Mapping,SLAM)技术是移动机器人领域的前沿技术。在弱纹理的结构化场景下,如何使定位结果更加精确,并生成满足物体识别、避障以及路径规划的三维地图逐渐成为领域内近几年的研究热点。目前,SLAM系统主要存在两个问题,一是光照条件变化、快速运动等因素引起的特征丢失,二是在人造结构化场景下,纹理缺失导致系统无法有效提取特征
SLAM(Simultaneous Localization and Mapping,即时定位与建图)技术是智能移动机器人中关键的技术之一,在智能移动机器人导航问题中起着关键作用。语义SLAM也是目前研究的重点之一,是高级人机交互和实现智能决策的基础。本文为解决二维激光SLAM大场景和相似环境下容易出现累计误差和定位难,以及纯视觉SLAM在鲁棒性差,局部误差大的问题,提出一种融合单线激光、双目相机
达斡尔族民歌是北方少数民族原生态音乐的重要组成部分,具有典型性、地域性文化艺术特质。作为我国宝贵的非物质文化遗产,如何在新时代做好其活态传承具有重要的现实意义。本文首先对达斡尔族民歌活态传承的现状进行剖析,并探讨活态传承多元化策略的可行性,进而从丰富民歌活态传承表现形式、完善民歌活态传承保障机制两个方面进行传承策略研究,其主旨不仅在于对民歌的保护,更重要的是挖掘民歌本质特征和文化内涵并将其发扬光大