基于视觉SLAM的物体深度信息估计

来源 :上海工程技术大学 | 被引量 : 0次 | 上传用户:x360791581
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
即时定位与地图构建技术(Simultaneous Localization And Mapping,SLAM)是机器人视觉的核心技术,常用于机器人运动过程中的环境感知和导航,是实现全自主移动机器人的关键。视觉相机作为传感器具有信息量大、灵活性高、成本低等优点,使得基于视觉的SLAM研究具有十分重要的意义。但在诸如机器人导航、避障、自动驾驶等实际SLAM应用场景中,视觉相机获取的二维图像由于缺少深度信息,无法提供目标准确的三维位置、大小、方向等,在应用上受到极大限制。因此,基于二维图像的深度信息估计对于视觉SLAM的应用具有重要意义。本文主要研究如何直接从二维图像中获取深度信息的问题。相对传统算法,卷积神经网络(Convolutional Neural Networks,CNN)通过学习一个非线性预测函数,将图像直接映射到场景的深度图,获得了最好的深度估计性能。最近的工作大都通过对神经网络进行有监督训练来获取深度,实验结果也证明了其在视图深度估计中的有效性,但这类方法被限制在大量图像及其对应像素深度真值信息的获取上。因此,本文提出的算法为无监督学习,在无需深度真值信息的情况下,将计算机视觉领域的一些传统的图像处理方法融入到深度学习框架中,实现了超越目前经典算法的性能。本文的主要创新点和贡献总结如下:1.针对单目视频序列,提出了一种视图合成与感知损失相结合的非监督学习框架,在为深度估计任务训练的转换网络中,将低层次的像素信息误差损失与预先训练的损失网络提取到的高级特征的感知损失进行联合作为总的损失函数,对神经网络进行反馈调节,实验结果表明,该网络框架在单一图像深度预测评估中,性能取得了显著的提升。2.对于深度估计中单目视频序列固有的尺度模糊问题,提出了一种使用双目立体视频序列进行联合学习的解决方案。通过利用立体图像对之间已知的姿态解决深度估计尺度模糊问题,对单视图深度估计器和位姿估计器同时进行训练,将场景深度和摄像机运动限制在共同的真实世界比例中,同时通过位姿网络进行帧到帧之间没有尺度模糊的位姿估计,为直接视觉里程计(Direct Visual Odometry,DVO)提供良好的初始位姿并进行位姿优化,最后使用空间和时间一致性约束,对深度及位姿进行联合优化。3.在单双目深度估计工作的基础上引入生成对抗网络(Generative Adversarial Network,GAN)中的对抗学习方式(Adversarial Learning,AL)对深度估计与视觉里程计进行进一步优化,将深度与位姿估计网络联合起来作为生成器,一个卷积网络与Flatten操作结合的联立网络作为鉴别器,鉴别器的损失函数采用cGAN(Conditional GAN)和WGAN-GP(WGAN Gradient Penalty)的结合改进版,将传统鉴别器的二分类任务转换为回归任务来处理,更适合深度估计任务的特性,同时本文通过在视点合成上的应用,验证了深度图的合理性,取得了良好的主观效果。
其他文献
在本硕士论文中,我们主要研究了双重拟伪补MS-代数.所谓双重拟伪补MS-代数,是指一个具有
糖结合蛋白在细胞生命周期中扮演着重要的角色,参与多种细胞活动,如细胞间的粘附,细胞免疫,细胞生长,细胞识别与分化等等,在肝癌发生发展时,蛋白质和脂类分子上的糖基化都会
第一章介绍了稳定化有限元方法的发展历程及本文用到的基础知识.第二章研究了二维非定常Stokes方程全离散稳定化有限元方法.首先给出关于时间向后一步Euler半离散格式,然后直
学位
无序蛋白质中的无序区域因缺少与其它蛋白质、配体或者细胞内环境的相互作用,无法折叠到稳定的三维结构。无序蛋白质参与了很多生理过程,发挥重要的生物作用。然而,由于无序
中小学减负一直是基础教育关注的焦点,近几年国家更是出台了许多减负政策。开发课程资源、提高课外作业设计能力是落实减负要求的突破点。语文教师应遵循课程理念,寻求最佳的课外作业方案;从量化走向优质,切实做到以学生为本,发展学生语文素养,精心设计出符合减负精神的初中语文课外作业。本文以问卷调查为基本研究方法,重点对T市三所中学的课外作业减负现状进行调查,进而展开对义务教育阶段减负要求落实现状的调查与对策研
干扰等因素导致的片段化是湿地植物进行繁殖扩散的重要方式,水陆两栖型湿地植物常通过克隆生长,在水陆间进行种群的扩散。然而,目前有关片段化对两栖型湿地植物生长的影响及
公司章程是公司自治的基础,《公司法》从1993年颁布至今,对公司章程从重管制发展为重自治,赋予公司章程宽泛的自治权利,让公司能够在激烈的市场竞争中充分发展其主观能动性。伴随着市场经济的快速发展,当今涉及公司章程的公司纠纷日益增多。其中大部分纠纷是因为对公司章程自治的滥用,利用章程对小股东或者相关第三人的合法权益进行侵害,当前这种对公司章程自治的滥用现象已经愈演愈烈,为了避免造成更大的损害,有必要对
近年来,翻译过程研究在实证方面初显成效,心理行为和神经认知研究工具/仪器的应用也促进了翻译过程研究的进度。隐喻翻译过程研究成为翻译界的一个热点问题,但是该类研究主要探讨隐喻与非隐喻翻译过程的异同,对不同翻译方向和不同类别的隐喻翻译过程却鲜有涉及。鉴于此,本研究旨在认知经济加工框架下,运用眼动技术,探究学生译者视译中,不同种类隐喻,即(非)文化特色隐喻/(非)规约隐喻,在一语到二语的正向翻译和二语到
学位