基于视觉里程计的深度神经网络模型和算法研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:neithernor86
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视觉里程计(Visual odometry,VO)是通过视觉传感器来获取运动物体的位姿的一种方法,在自动驾驶、机器人自定位和增强现实等方面发挥了重要的作用。由于其低廉的成本和广泛的应用场景,近年来成为视觉领域一个讨论和研究的热点。基于几何法的传统视觉里程计十分依赖特征的选取和匹配结果,并且单目VO还存在尺度不确定的问题。而随着近年来深度学习的兴起,深度神经网络在各种视觉任务中都得了不错的成果,因此利用深度学习解决视觉里程计问题逐渐成为一种新的思路。本文以视觉里程计问题为研究主体,以深度神经网络为研究工具,提出了一种基于卷积神经网络(Convolutional neural Network,CNN)和长短期记忆网络(Long Short-Term Memory,LSTM)的视觉里程计框架。该框架是一种端到端的神经网络,输入为连续的单目RGB图片,输出即为求解的相机位姿,在KITTI VO和TUM数据集上的实验证明,本文的方法在预测准确度上优于传统的几何法和其他基于深度学习的方法。本文的主要研究工作如下:(1)把视觉注意力机制引入视觉里程计框架中的特征提取子网。提出两种作用于高分辨率和低分辨率特征图的视觉注意力机制改进特征提取模块。添加视觉注意力机制的目的是在特征提取过程中加强有效特征,抑制无用特征和噪声。在此基础上提出添加视觉注意力的CNN和解耦合的LSTM组成的视觉里程计框架,实验证明,该网络在预测精度上要高于不添加视觉注意力机制的网络和其他传统方法。(2)利用基于上下文机制的LSTM和双向长短期记忆网络(Bidirectional LSTM,Bi-LSTM)作为时序建模子网,并以此为基础结合视觉注意力机制的特征提取子网设计了两种视觉里程计网络。基于上下文机制的LSTM的主要特点是利用上一时刻LSTM单元的隐藏状态来校正当前时刻的输入;Bi-LSTM的主要作用是利用过去和未来的信息同时约束这一时刻的单元输出,本质上都是利用上下文信息来约束当前时刻。实验证明,结合视觉注意力机制和上下文机制的深度神经网络比传统方法和其他深度方法预测准确率更高,误差更小。(3)设计实现了基于深度学习的视觉里程计系统仿真平台。以连续图片序列为输入,通过选择适合的预训练网络计算估计出每一时刻的相机位姿,并提供与真值数据的各种误差指标。
其他文献
时滞现象被认为是造成动力系统振荡,不稳定和性能差的主要原因,因此受到了国内外学者的极大关注。相比于常规系统,广义系统能够对物理系统进行更好的描述,被广泛应用于经济系统、化工过程、电路系统、机器人系统、网络控制系统、空间导航系统和生物系统等不同领域。因此,对广义时滞系统进行分析和研究具有重大的理论和实际意义。本文分别以广义常时滞系统和广义时变时滞系统为研究对象,进行了以下工作:(1)研究了广义常时滞
主动光学技术是指在拼接式望远镜中,对其出现的变形以及偏移等进行自我修复的一项技术,而望远镜子镜之间微小位移的测量是主动光学系统的关键技术。本文针对应用于主动光学系统的新型电容式微位移传感器,研制了一种信号处理系统,以实现对微小位移的实时精密测量。本文在对基于主动光学微位移传感器及数字信号处理技术发展现状深入研究的基础上设计了一种基于浮点型DSPTMS320F28335的微位移传感器信号处理系统,主
随着物联网技术、互联网技术以及设备远程监控技术的不断发展,基于Web的远程在线监控系统逐渐成为工业、医疗、农业及气候学等领域研究和开发的热点。基于Web的设备远程在线监控系统对实现工业生产现代化、企业管理信息化及实验室设备管理自动化等方面具有非常重要的意义。本文分析了远程在线监控系统的发展与现状,对基于Web的设备远程在线监控系统进行了研究与设计。首先,本文分析了设备远程在线监控系统的功能与性能需
人体动作识别是指将对应的动作类别标记到包涵人类动作的视频序列的过程,人类行为的不明确性和复杂性使得行为识别的任务变得困难。作为人工智能计算机视觉领域人类行为理解的一个关键课题,人类动作识别在人机交互、视频检索、视频监控、智能家居等领域有广阔的应用前景。而随着深度传感设备的发展,三维骨架视频数据因其抗仿射变换、抗光照和环境变化、和对视角变化鲁棒等优良特性导致基于骨架数据的动作识别任务被研究人员广泛关
近年来随着人民物质生活水平的提高,老龄化的趋势日益加快。人口老龄化问题对我国养老服务造成了巨大压力。老年人陪护尤其是高龄老人的陪护问题已成为越来越亟待解决的社会问题之一。陪护机器人是一种典型的服务机器人,其能完成陪护工作的前提是有一个安全可靠的定位导航。本文设计并开发了一种智能陪护机器人定位导航系统,所设计的系统可用于家庭、敬老院等室内场景进行陪护任务。具体开展了以下工作:第一、对智能陪护机器人进
人脸表情合成在人脸识别、动画制作、人机交互等领域有着广泛的应用。然而,由于面部表情的非线性变化,表情合成是一个具有挑战性的任务。生成式对抗网络在图像合成任务上表现出的优越性一定程度上解决了传统方法存在的问题。现有的方法主要是针对表情类别进行合成,但缺乏对表情强度的细粒度控制。本文主要针对表情的不同强度进行研究,基于生成式对抗网络合成具有不同表情强度的真实感人脸图像。本文主要提出了两种方法:1)融合
近年来,机器人及人工智能技术飞速发展,在诸多应用领域体现了巨大的应用前景。自主导航能力是移动机器人深层次应用的基础,而机器人的实际运行环境中往往或多或少的存在不确定因素,如地图未及时更新或临时出现的人或物体等,因此,机器人对环境的适应能力也至关重要。同样发展迅猛的深度学习技术,使机器人具备自主学习能力成为可能。本文研究了移动小车的避障和自主导航技术,其运行环境的二维示意图已知,且其中存在不确定的障
随着科技的不断发展,信息安全事件的频发引发了大众对于保密通信技术的重点关注。传统通信方式存在保密性漏洞、容量限制、攻击保护低效、设备成本高等问题。而混沌系统具有高度的随机性、非周期性和不可预测性,新型混沌通信系统具备高容量的动态存储能力及相对较低的设备成本,显示出了明显的技术优势和广阔的应用前景。本文针对几类分数阶混沌系统,设计了新型完全同步及广义同步控制策略,并对其进行了保密通信应用研究,主要工
近年来液化天然气工业发展极其迅速,铁路运输是LNG最经济、高效的运输方式,为此,中车集团某公司研制了铁路运输专用LNG储罐箱。为确保LNG铁路运输的安全,需要在铁路运输专用LNG储罐箱上设置LNG罐箱工况采集装置,并通过无线网络集中收集工况数据,对LNG储罐进行实时监控。本文详细分析了课题关键技术的国内外发展现状,结合LNG铁路运输的实际情况,研究并设计了LNG储罐车储罐工况参数监测系统。该监测系
驾驶机器人结构灵活、能够适应不同类型的车辆,本文在课题组对无人驾驶机器人车辆横纵向协调控制研究的基础上,为了能够了解被操纵车辆动力学特性的前提下,更好的操纵不同类型的车辆,研究了驾驶机器人车辆的纵向动力学特性学习方法与纵向动态控制。首先,介绍了驾驶机器人的性能指标。并分析了驾驶机器人换挡机械手、驾驶机械腿的结构特征。在此基础上,建立驾驶机器人各机械臂的运动学与动力学模型。接着,介绍了驾驶机器人车辆