基于混合特征的机器人视觉里程计技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:dabingjiajia
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
准确的位姿估计是机器人自主导航的重要前提。随着机器人应用日益广泛,人们对位姿估计的精度和鲁棒性的要求愈来愈高。针对符合曼哈顿世界假设的人造环境,本文利用不同视觉特征的优势互补性和场景的结构规律,研究以局部视觉特征点和消失点作为混合特征的的机器人视觉里程计(Visual odometry,VO)。首先,本文采用非线性优化改进了基于随机采样一致性(Random Sample Consensus,RANSAC)的消失点估计算法。精确的消失点估计是后续使用该信息的重要基础。对基于RANSAC的消失点估计算法进行深入研究后,复用其直线分类时使用的误差度量构建非线性最小二乘模型,使用高斯-牛顿法迭代优化。针对有先验信息约束情况,建立带约束的最小二乘优化模型,采用拉格朗日乘子法进行优化,得到了更精确的消失点估计。其次,利用消失点引入全局约束,提出基于消失点辅助的单目视觉里程计。消失点作为全局信息,可表征世界坐标系与相机坐标系间的变换关系。该算法以基于局部特征点的单目VO位姿估计结果为初值,将初始化阶段得到的世界消失点变换到当前相机坐标系下,利用与当前图像中的对应到三正交消失方向的直线构建投影残差模型,最终得到基于四元数的非线性最小二乘优化问题,采用非线性优化方法对位姿进行优化。最后,提出将基于局部特征点的重投影残差和消失点对应的投影残差相结合,在混合残差优化框架下统一为混合残差,进而在极大似然概率模型下将位姿估计建模为基于李代数位姿的非线性最小二乘优化问题。利用图优化方法对位姿估计进行联合优化,最终得到基于混合特征紧耦合融合的单目视觉里程计。为验证提出消失点估计改进算法的有效性,分别在公共数据集和自行设计的仿真数据集上进行实验,得到了精度更高的消失点估计结果。为验证基于消失点辅助和基于混合特征紧耦合融合的单目视觉里程计算法的有效性,本文基于EuRoc MAV数据集以及室外手持实验进行了与单目ORB-SLAM的对比,验证了两算法的有效性。
其他文献
随着毫米波近场成像系统在安检等领域发挥作用,针对三维雷达图像的目标分类与检测方法具有了重要的理论研究和应用价值。三维雷达图像包含丰富的三维空间信息与雷达成像特征,本文尝试通过深度学习的方法,充分分析利用三维雷达图像具有的特点,深入研究针对三维雷达图像的目标分类方法。第一章论述了该课题的研究背景和意义,分三个小节详细总结了三维雷达图像目标分类的深度学习方法相关领域的发展现状,在此基础上归纳了本课题需
目标检测任务作为在图像处理和计算机视觉领域中的基础课题之一,在图像检索、视频监控、人脸检测、人机交互等方面上有着广泛的应用。传统的目标检测方法首先是对给定图片进行特征提取然后再进行分类抉择,因此特征提取的好坏对目标检测的性能起着关键的作用。相对于传统的目标检测方法,基于深度学习的目标检测方法通过大量数据训练能够自适应的学习到较好的特征提取方法,可以更好的在复杂场景下进行检测。目前比较流行的基于深度
雷达传感器具有全天时全天候工作、非接触式等优点,可用于人体非侵入式的侦察监视,正逐渐成为城市反恐、远程健康监测等领域的重要感知手段。其中低频雷达可以实现穿透墙壁探测人体信息,但其微多普勒时频信息模糊,区分难度高。而深度学习的兴起使低频雷达具有区分那些在视觉上无法分辨的微多普勒时频特征的潜能。本文以低频段多发多收(Multiple-Input Multiple-Output,MIMO)超宽带(Wav
颜色在许多计算机视觉的问题中都起到了关键性的作用,相比于灰色图像,彩色图像的使用为图像分类、目标检测等问题都提供了额外的彩色信息。图像着色是考虑给灰度图像赋予彩色信息的具有挑战性的问题,在学术和工程等各个领域都有着广泛的应用。同时随着计算机的发展,深度学习具有自动学习出模式特征的特点,能够高效地将特征学习融入到模型的建立,减少人为干预。因此,使用深度学习的方法解决图像着色的问题已成为不可避免的发展
信息过载问题已经成为互联网应用发展所面临的重大挑战问题之一。推荐系统(Recommender System,RS)是最常见的用于缓解信息过载的手段之一,并已被网站和应用程序广泛采用。目前,深度学习方法已经成为提取多模态数据特征的最有效手段,因此,为了更好的利用多模态数据来实现精准推荐,必须对基于深度学习的推荐系统进行分析研究。虽然,深度学习方法是推荐系统研究的前沿热点。然而,由于缺乏对文本和用户数
随着信息技术的发展,计算机视觉在人机交互领域发挥着越来越重要的作用。准确的手部姿态估计能够更好地实现人机交互,传统的方法通过数据手套等可穿戴设备实现了较为准确的人的手部姿态的估计,但是对用户约束较大,难以大规模推广并在一些项目上难以实施,且设备成本较高。随着图像采集设备的小型化和廉价化,基于计算机视觉的手部姿态估计的应用前景越来越广泛。本课题在计算机视觉的基础上基于深度学习实现手部姿态的估计。传统
有人/无人机混合编队协同作战将是未来重要的作战样式之一。由于运动学的复杂性和环境的动态性,控制一组固定翼无人机自主跟随有人机遂行任务仍然面临巨大挑战。本文以固定翼无人机为研究对象,考虑复杂动态环境的随机性和不确定性,基于无模型深度强化学习方法解决了有人机-固定翼无人机混合编队协调控制问题,为混合编队的实际运用奠定了技术基础。主要工作及贡献如下:1)设计了基于深度强化学习的混合编队端到端协调控制框架
天气雷达回波外推是基于天气雷达历史观测回波,对未来回波的形态、强度以及分布等特征进行预测。它是临近预报的最基础手段之一,准确有效的回波外推对于提高预报质量有着重要意义。近年来,学者将深度学习应用于解决回波外推问题,并在传统方法基础上取得了较大进展,但现有方法仍具有三方面局限性。第一,难以对回波的生消演变过程进行准确建模外推;第二,对于以一般图像重构损失作为损失函数的深度学习外推方法,在深入外推时易
随着对海洋探索的深入,仿生鱼凭借其优越的性能成为水下机器人领域关注的热点,群体仿生鱼相比单条仿生鱼可以更灵活、更高效地执行更复杂的任务。然而,群体仿生鱼难以像陆上或空中群体机器人一样通过通信、视觉等传统方式获得周围的环境条件,并且目前对于高效的群体仿生鱼编队阵型也没有一个统一的结论。本文针对以上问题,采用模拟的方法来研究群体仿生鱼的环境感知和编队行为,主要工作和创新点如下:(1)构建基于开源CFD
随着信息网络技术的高速发展和互联网络的大范围普及,网络空间作为没有硝烟的战场,成为各国舆论战争夺的焦点。当前,我军开展的网络重大主题活动舆论引导已经取得初步成效,加深了普通网民对军队的了解和认同,为我军树立了良好的网络正面形象。在新时代继续深入推进网络重大主题活动舆论引导,是我军夺取舆论战网络阵地,打赢网络舆论战争的重要基础。本文通过梳理总结近年来全军开展的网络重大主题活动,对舆论引导的深层机制进