融合多神经网络的改善视觉SLAM技术研究

来源 :苏州大学 | 被引量 : 0次 | 上传用户:zhangwilly
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,信息化产业飞速发展,在这个人工智能热潮不退的时代,各行各业都加入到无人化设备的研发当中。其中,智能机器人扮演着十分重要的角色。小到室内的无人扫地机器人,大到室外的无人驾驶汽车,都需要依赖同时定位与地图构建(Simultaneous Localization and Mapping,简称 SLAM)技术。智能机器人需要在运动时实时感知自己在三维空间中的位置与朝向,保证自己能够精确定位。此外,还需要构建出环境地图,从而完成路径规划与智能避障的任务。视觉传感器与激光传感器相比,具有价格和重量方面的优势,因此基于视觉的SLAM技术备受关注。随着SLAM应用场景的不断增多,对系统的精度和稳定性要求也越来越高。随着深度学习技术的不断发展,现在已经有许多学者着手研究基于深度学习的视觉SLAM方案,以期望获得更好的精度和更强的鲁棒性。目前基于深度学习的视觉SLAM技术已经取得了很多突破性进展,尤其是在图像的特征提取与匹配方面更是表现出十分优异的性能。但是除此之外,现有的技术还存在着一些亟待解决的问题。一方面,基于单目深度估计的视觉SLAM虽然能够解决许多原有基于单目设备的SLAM方案的短板,但是往往由于预估的深度信息不够准确而导致位姿估计和稠密重建的精度不尽人意。另一方面,基于深度学习的相机重定位方法在面对复杂场景或是具有噪点的图像时,重定位精度急剧下降,系统稳定性不高。针对上述问题,本文深入研究了融合多神经网络的改善视觉SLAM技术,提出了基于单目深度估计的室内定位与三维重建方法以及基于图像去噪和CNN-LSTM(Convolutional Neural Networks and Long Short-Term Memory)的相机重定位方法,以期望获得精度更高的位姿估计、效果更好的三维重建和重定位效果。总的来说,本文的主要贡献如下:1)针对目前已有的基于单目深度估计的视觉SLAM方案精度不高,无法准确进行后续位姿估计和稠密重建的问题,本文提出了一种基于单目深度估计的室内定位与三维重建方法。基于迁移学习和CNN的单目深度估计模型,通过编码-解码结构能够很好的预测图像的深度信息。在获得准确的深度信息后,通过前端的ORB(Oriented Fast and Rotated Brief)特征提取与匹配以及后端的直接RGB-D的BA(Bundle Adjustment)优化来实现基于单目设备的室内定位与三维重建。实验对比表明,本文使用的模型能够获得精度更高的深度信息且在公开的TUM数据集上也有较好的位姿估计与稠密重建表现。这表明本文提出的方法能够在弥补传统单目SLAM不足之处的同时,也保证较高的定位与建图精度。2)针对目前已有的基于深度学习的图像去噪技术在去噪后容易在尖锐边缘生成伪像,且单个模型不能够解决不同噪声水平的去噪任务的问题,本文提出了一种基于空洞CNN的噪声水平可调的高斯去噪方法。该方法通过加入一张与输入图像相匹配的噪声水平图来使训练后的模型具有噪声水平可调的能力。此外,在减少空洞卷积率的同时,使用可逆的下采样技术,在不增加参数和网络层数的情况下,能够扩大卷积核的感受野,以获取更好的背景信息。在公开数据集上的实验结果表明,本文提出的方法能够在获得GPU加速的同时具有可调噪声水平的能力,客观评价的PSNR值更高且去噪后的图像在细节方面得到了更好的保留。因此将这样的模型应用到后续的去噪预处理是十分合理的。3)针对目前已有的基于深度学习的相机重定位方法在面对杂乱无章的场景或是噪点过多的图像时精度急剧下降的问题,本文提出了一种基于图像去噪和CNN-LSTM的相机重定位方法。首先,使用本文提出的图像去噪方法来对数据进行预处理,缓解由于噪点过多带来的精度下降问题。然后,使用CNN来学习去噪图像的深度特征信息并使用LSTM来获取更为抽象的深度空间信息,从而能够回归相机的六自由度位姿。最后,在公开数据集上进行实验并与当前主流的算法进行对比,结果表明本文提出的方法在复杂的场景中也能够十分准确的预测相机六自由度位姿,在提高相机重定位模型精度的同时也增强了系统的鲁棒性与实时性。本文深入研究了融合多神经网络的改善视觉SLAM技术。基于单目深度估计的室内定位与三维重建方法可以获得更好的位姿和重建效果。基于图像去噪和CNN-LSTM的重定位方法能够回归更为准确的六自由度位姿。这为智能机器人领域提供了更多的选择。
其他文献
目的:神经母细胞瘤(Neuroblastoma,NB)系儿童交感神经系统的一种恶性程度较高的一种癌症,也是婴儿期发现的最常见的实体肿瘤之一,对于神经母细胞瘤中超级增强子调控基因的作用机制的研究,有益于在神经母细胞瘤的治疗中提供新的思路和方向。因此,我们通过此次实验来确定神经母细胞瘤中调控超级增强子的基因,并研究该基因在神经母细胞瘤中的功能,并进一步探讨其作用机制。方法:通过查阅生物信息学数据库中神
学位
柱面镜作为一种非旋转对称的光学面,其特殊性在光学系统中发挥着不可替代的作用。随着现代光学技术的不断进步,对于镜面的面形精度也提出了更高的要求。而在光学元件加工过程中,面形的精度取决于检测的精度,大口径、大孔径角柱面镜的检测,通常需要一个与口径相同或者更大的补偿镜,增加了检测成本和制备难度。本文基于计算全息检测法,提出使用子孔径拼接方法,减小补偿镜孔径大小,在提高检测能力的同时,降低检测成本。子孔径
学位
近年来,受疫情影响,经济下行压力较大,根据中国银行保险监督委员会河南监管局公布的最新数据,截至2021年第二季度末,河南省银行不良贷款余额为522.54亿元,不良贷款率为1.32%。而2020年下半年至今是经济受疫情影响的初步显现,不良贷款规模有大规模暴露的趋势。然而,随着河南省银行业不良贷款规模的不断增大,不良贷款率却整体呈下降趋势,贷款质量转好。不良贷款率整体呈下降趋势不可避免的与银行不良资产
学位
目的:通过回顾性分析我院5年间所有早产儿临床资料,探讨支气管肺发育不良(bronchopulmonary dysplasia,BPD)发生率变迁及胎龄<32周早产儿发生BPD的危险因素;并分析中性粒细胞绝对计数/淋巴细胞绝对计数比值(Neutrophil-to-lymphoc yte ratio,NLR)、血小板计数/淋巴细胞绝对计数比值(Platelet-to-Lymphocyte Ratio,
学位
20世纪90年代以来,金融危机频发,国有商业银行不良资产激增。为解决国有银行不良资产的问题,中央成立了华融、东方、信达和长城资产管理公司,分别处置工商银行、中国银行、建设银行及农业银行堆积的共计1.4万亿不良资产,至此,我国不良资产行业正式诞生。当前,世界经济增长缓慢,受新冠疫情及“三期叠加”影响,我国企业面临巨大的偿债压力,其中沉淀的债权类不良资产规模持续增加,并呈现出多机构全方位供给的格局。截
学位
基于GaN基微发光二极管(μLEDs)阵列的微显示具有很高的应用前景,其与传统的LCD、OLED相比,拥有着高效率,低功耗,超高解析度,超快响应速度,宽可视角度以及无缝拼接可实现任意大小尺寸显示等优势,因此,被认为是一种“次世代显示技术”。然而随着Micro-LED尺寸从百微米下降至10微米甚至几微米时,等离子刻蚀带来的侧壁损伤成为降低发光效率的重要影响因素。而且随着Micro-LED尺寸进一步下
学位
得益于有机-无机杂化卤化物钙钛矿高量子产率、高色纯以及带隙可调等优异的光电性能,钙钛矿发光二极管(PeLEDs)在过去几年取得了长足的进展。准二维钙钛矿具有较大的激子结合能,其多量子阱结构有助于载流子传输发生辐射复合,因而作为钙钛矿发光层具有明显的优势。然而,由于准二维钙钛矿中不同相的形成能十分接近,通过溶液法制备的钙钛矿薄膜通常由混合相组成。准二维钙钛矿中的低维相特别是n=1相会引起强烈的激子-
学位
无论是过去的农耕文明还是如今的信息时代,照明与显示始终是人们生活的重要组成部分,而随着人们生活品质的提高,也对照明与显示技术提出了更高的要求。在这种情况下,传统的半导体材料逐渐无法满足需求,因此,具有优异光电性能的卤化铅钙钛矿材料逐渐进入研究人员的视野。以全无机卤化铅钙钛矿材料CsPbX3(X=Cl,Br,I)量子点为例,作为直接带隙半导体材料,具有高量子产率(PLQY几乎可达100%)和极窄的半
学位
当下,国内经济下行压力大,整体不良资产规模呈升态,市场机会多,与此同时,资产管理公司发展迅速、处置活跃。截止至2021年12月,我国已有5家全国型资产管理公司,58家地方型资产管理公司。随着近年来我国民间借贷规模的增长,很多企业由于流动性危机陷入资金周转不灵的困境。因此,为了服务、帮助实体企业,不少资产管理公司开展收购不良债权业务以缓解企业的流动性危机,一方面使得原有债务得以缓解,另一方面也保证企
学位
在陶瓷增材制造领域,立体光刻技术凭借优异的表面质量、良好的成型性能以及极强的复杂零件构建能力,在陶瓷人体植入物领域展现出巨大的应用潜力。氮化硅(Si3N4)陶瓷作为一种理想的人体植入物材料,具有优异的力学性能、良好的生物相容性以及较好的骨诱导效果,在生物医学领域有着较好的应用前景。目前,针对Si3N4陶瓷立体光刻技术的研究较少,且绝大部分研究针对Si3N4陶瓷浆料体系的优化。本课题组前期开展了氧化
学位