融合单目视觉与惯性数据的深度及位姿估计方法研究

来源 :福州大学 | 被引量 : 0次 | 上传用户:fyfy76
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在室外场景下,视觉里程计能在卫星信号缺失时协助移动机器人感知外部环境,获取自身位置和速度。相比于立体相机繁琐的标定与校正过程,基于低成本单目相机的视觉解决方案更简便。卷积神经网络(Convolutional Neural Networks,CNNs)可以直接从单目图像计算移动机器人状态,不需要对摄像头进行标定与校正,并克服尺度不确定性缺点。但CNN在实际应用中仍存在困难,首先CNN运行时需要大量内存资源,而里程计通常应用于嵌入式设备,这些设备的计算能力不能满足CNN的算力需求;其次,视觉里程计在光照条件不理想或者动态物体被遮挡时,图像会产生模糊、纹理缺失等现象,导致状态估计误差大。为此,提出在扩展卡尔曼滤波器中融合CNN输出的单目相机位姿和IMU数据,弥补恶劣环境条件下单目视觉的估计误差,同时单目相机能补偿IMU传感器的累计漂移误差,有助于里程计获得高精度的导航信息。本文的主要研究内容包括:(1)提出基于CNN的单目深度及位姿预测方法。针对神经网络训练时间久、模型参数大的问题,从空间金字塔编码层、门控自适应解码层、损失函数三个方面设计神经网络模型。对比分析不同编码器对估计性能的影响,运用深度可分离卷积替代传统卷积,引入ASPP模块扩大图像空间感受野。采用子像素卷积的超分辨技术提升特征图质量,设计多尺度融合门控模块补充上下文信息,提高网络运行速度。考虑图像梯度和表面法线,在对数域构建损失函数,处理深度图边缘扭曲和模糊现象,保证模型精度。(2)提出单目图像与IMU数据互补的位姿估计方法。处理IMU传感器噪声误差,建立IMU运动学及误差传播模型,形成共同运动约束,融合惯性信息和视觉图像。不同于经典扩展卡尔曼滤波器,提出将CNN模型的预测值当作扩展卡尔曼滤波器的测量更新,利用单目相机和IMU的互补模态和误差特性,使用神经网络优化滤波器的误差协方差,实现目标物体的位姿更新和估计。(3)在公开数据集和室外环境对所提出的深度及位姿估计方法进行验证,评估算法的准确性和适用性。实验从单目深度估计评价指标、三维点云可视化、在线推理速度、平均位姿误差等方面进行验证,与其它的算法相比,本文算法能有效降低深度估计误差,大幅改进姿态预测精度,同时缩减内存需求,提高图像推理运行速度。室外场景实验表明本文算法能够满足使用需求,具有可行性。
其他文献
轴承是机械设备的重要零部件,其质量决定着机械设备的整体性能。套圈是组成轴承的精密零件,在加工过程中不可避免地会出现各种各样的缺陷,因此需要对套圈质量进行严格把控。目前,国内众多轴承生产企业对轴承套圈外观缺陷检测仍然采用人工目测的方式,这种检测方式不仅效率低,而且难以保证检测结果的准确性。为此,本文针对轴承套圈端面和滚道面常见缺陷,设计了基于机器视觉的轴承套圈缺陷在线检测系统,实现了套圈端面和滚道面
学位
四足机器人作为足式机器人领域研究热点之一,在复杂、危险环境下的勘察搜救、载物运输等领域极具实用价值。传统电驱四足机器人在结构设计、续航能力、运动稳定性等方面尚存缺陷,存在机器人腿部转动惯量大、自续航能力不足等问题,限制了其应用范围。基于此,论文旨在设计一款新型低转动惯量、低能耗的电驱四足机器人,对四足机器人的结构设计、动力学分析、步态规划及虚拟样机仿真进行研究,主要研究工作内容如下:论文结合成年犬
学位
复杂曲面零件广泛应用于精密仪器、军事等国家重点领域,不断提高复杂曲面零件的加工精度一直都是精密工程领域不懈追求的目标。但是,由于零件复杂的表面形貌,致使其检测及评价的难度极高,一定程度上阻碍了其在各个领域的应用。因此,开展复杂曲面的稳健重构方法研究具有重要的科学意义和应用价值。在对零件评价过程中,受人为操作或其它因素的干扰,使用测量设备所得到的数据在所难免的会包含各种误差,影响曲面的重构精度。因此
学位
接线端子是实现电气连接的一种元件,常用传统液压钳进行压接,其外表面压痕明显,且导线压缩不够致密,使得电缆的传输电阻增大,降低了传输效率。采用带集磁器的缩径线圈可实现接线端子的磁脉冲连接,但缩径线圈制作复杂、成本高,本文提出了一种内孔式磁脉冲连接新方法,采用胀形线圈和集磁器来实现接线端子的连接。以DL95型接线端子为研究对象,采用理论分析、数值模拟和工艺试验相结合的方法,对内孔式磁脉冲连接新工艺进行
学位
电磁铆接因其铆接性能优异而被广泛应用于航天航空领域。小型化是目前手持式电磁铆枪的发展方向,将磁阻型电磁发射技术用于铆接,有望实现铆枪的小型化。本文采用理论分析、模拟仿真与工艺试验相结合的方法,对其铆接过程进行了较为系统的研究,在铆接参数优化的基础上对铆枪结构进行设计。基于磁阻型电磁铆接原理分析,对铁磁性弹丸的受力情况进行数学分析。结果表明:磁阻型电磁铆接与感应式电磁铆接在铆接力的产生方式上不同,弹
学位
电弧增材制造以电弧作为载能束,通过数字化控制系统控制使零件逐层堆积制造,实现金属结构无模成形,具有适应性强,沉积效率高,成本低等优势。然而在成形过程中,随着零件逐层堆积,热积累严重,由此产生非均匀塑性应变和热应变,会导致零件的应力和变形,甚至造成零件失效。本文通过建立电弧增材制造数学模型,研究了电弧增材制造过程中热演化过程以及应力、变形规律,为从本质上理解电弧增材制造和现存问题的解决提供可靠理论依
学位
并联机构的运动精度是制约混联机床加工精度的关键。本文以自主研发的2UPR&RPS并联机构为例,拟开展其运动学分析、误差建模、精度设计、样机研制和精度测试等研究。论文的主要内容包括:首先,提出一种拓扑构型为2UPR&RPS的并联机构概念设计方案,并对其进行运动学建模与分析。相关内容包括:运用旋量理论对其进行自由度分析,证实其具有两转一平(2R1T)运动能力;基于闭环矢量法得到其位置正/逆解;基于驱动
学位
环境污染和能源危机问题日趋严重,新能源取代化石能源已经成为全球的发展趋势。在新能源产业中,作为新能源转化和存储装置的锂离子电池是实现新能源合理利用的关键。电池充放电过程中锂离子会在正负电极间来回地扩散/迁移。大量锂离子的嵌入/脱出会引起电极材料的变形并产生扩散诱导应力,较大的应力会导致电极颗粒产生裂纹甚至破坏,进而造成电池容量衰减和电化学性能退化。因此,电极材料的电-化学-力学耦合机理的研究对提高
学位
重型车辆因其承载能力大,通过性强,被广泛应用于设施建设和军事重工领域。随着人们对重型车辆性能要求的日益提升,其不仅要满足强载重能力,还要具备行驶灵活性和操纵稳定性。这对重型车辆的转向控制技术和助力机构安全性提出了更高要求,而轮胎的转向阻力矩是转向控制器设计和转向助力系统优化设计的重要依据之一。因此,本文基于重型车辆轮胎原地转向阻力矩特性描述不充分的问题,建立能对复杂工况下的原地转向阻力矩进行有效预
学位
相比于恰驱动并联机构,冗余驱动并联机构具有更高的刚度、更好的运动柔性以及更少的奇异位姿,可作为五轴混联加工机床的动力头运动执行部件。为实现混联装备的加工精度,必须保证其中的冗余驱动并联机构具有足够的运动精度。有鉴于此,本文以2UPR&2RPS型并联主轴头为研究对象,开展该类三自由度冗余驱动并联机构的运动学标定方法研究,希冀为集成冗余驱动并联机构的五轴混联机床的精度设计与精度实现提供运动学数据参考。
学位