动态目标自适应单目视觉定位与跟踪技术研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:yinjie340
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着自动驾驶车、民用无人机等相关领域应用的快速发展,基于运动视觉平台的目标识别、定位与跟踪技术已经成为机器人学、人工智能等领域的热点研究方向。目前,基于二维图像的目标定位与跟踪理论研究已经相对成熟,但面向低成本运动视觉平台场景的目标三维空间定位与跟踪问题仍然存在诸多难点,如非合作跟踪场景下由于样本匮乏而导致的模型检测精度低、神经网络模型严重依赖平台运算性能、单目视觉对目标空间深度值估计不准以及单目视觉里程计方法的尺度不确定与尺度漂移等问题。这些难题极大地制约了地面机器人、无人机等运动平台在目标空间定位、智能避障、自主定位与导航等方向上的应用。本文聚焦目标跟踪问题下的小样本集图像增广方法、带深度参数的多尺度检测网络模型训练方法、几何约束条件下的空间定位算法以及单目视觉里程计中尺度去模糊方法等关键问题,开展了系统性的研究;并基于运动视觉平台(手持相机、小型旋翼无人机等)开展了大量的室内外仿真与无人机飞行实验以论证本文相关工作的有效性;最终提出了一套基于单目视觉平台的目标自适应定位与跟踪技术框架,研究了样本受限场景下的检测网络模型训练、高质量运动目标样本集构建与多尺度检测模型优化、单目视觉下目标深度快速估计与空间定位以及单目视觉里程计中不确定尺度恢复等关键性难题。本文的主要创新与贡献如下:1)针对运动平台目标跟踪场景下平台抖动与初始训练样本稀少等问题,提出了一种面向运动平台目标跟踪的小样本集图像增广模型(Limited Sample Sets Augmentation for Object Tracking,LSSA-OT),其通过对样本集数量的扩充与样本特征维数的提升,以解决样本匮乏场景下样本特征难以涵盖运动目标成像特征而造成泛化能力弱等问题。首先,该模型利用相似、仿射和投影变换进行样本的几何形态特征增广,实现目标几何特征的维度扩充;然后,提出了一种新的随机背景填充方法解决几何变换后的由于图像边缘信息缺失问题,同时提升负样本区域图像质量以防止正负样本特征信息量失衡;进一步地,针对运动平台抖动与目标快速运动时产生的成像模糊问题,提出了一种多向叠加模糊增广算法以提高样本集对模糊图像的抗噪能力;最后,结合传统增广方法对模型中各个增广模块给出可调节的增广概率参数,实现基于运动平台场景下的小样本集图像增广模型构建。经实验验证,该方法在只有少量样本可供模型训练且运动目标具有空间旋转、目标存在模糊和抖动等情形下,检测模型的检测精度至少提升8%。特别地,针对具有平面特性的目标,本文采用的仿射和投影变换的增广方法可以提升12%以上的模型检测精度。2)针对神经网络检测模型运行参数多、实时计算处理能力较差的问题,提出了一种基于样本空间深度参数辅助训练的单阶段多尺度神经网络检测模型(Fast Depth-Assisted Single Shot Multi Box Detector,FDA-SSD),其通过带运动参数的图像训练样本集辅助检测模型对目标的空间深度信息进行预学习,使得该模型能自适应地匹配最优检测器,以解决模型运行参数优化与检测速度提升等问题。首先,提出一种面向目标跟踪的带运动参数图像样本集建立方法,将样本图像、样本目标运动参数以及相机运动参数进行匹配以获取一种高质量的训练样本集;然后,将该样本集通过前馈神经网络与原始SSD模型进行融合训练,使FDA-SSD模型获取深度参数与多尺度特征分类器之间的匹配关系,并通过将二维图像样本训练改进为带有空间尺度参数融合的三维空间样本训练,使得模型自主匹配最优检测器从而提升目标识别的检测效率。经实验验证,在GTX1060运算平台下,FDA-SSD模型运算速度为28.7 fps,比传统SSD快16.5%左右;在基于FDA和几何约束定位方法的目标跟踪实验中,目标跟踪均方根误差小于4.72 cm。3)针对跟踪场景下目标的深度信息估计慢、空间定位难的问题,提出了一种单帧平行特征定位法(Single-frame Parallel-features Positioning Method,SPPM),其通过对目标几何约束关系的提取与深度求解模型的建立,利用跟踪目标的尺度信息和几何特征,实现了目标的深度值快速估计和空间精准定位。首先,对跟踪目标进行边缘分割与关键特征点提取,获取目标特征点的空间约束关系;然后,利用目标跟踪初始化阶段获取的目标尺度、几何约束以及投影方程,实现目标深度值求解模型的构建;最后,针对深度求解方程组中非线性、高次性、超定性等不易获取解析解的特点,引入带有五阶收敛性的Runge-Kutta数值迭代方法,实现了对目标深度的快速数值求解与空间定位。经实验验证,SPPM在室内定位实验中具有良好的鲁棒性,室内目标静态定位估计均方误差百分比小于1.04%,无人机动态目标跟踪均方误差小于7.26 cm。4)针对单目视觉里程计中尺度不确定性和尺度漂移问题,提出了一种带有多特征尺度稳定器的单目视觉里程计方法(Multi-level Scale Stabilizer for Visual Odometry,MLSS-VO),其通过将跟踪问题中的目标尺度参数和传统单目视觉里程计位姿数据进行融合,利用多层特征尺度传递与更新,以解决单目尺度不确定性和尺度漂移问题。首先,对单目视觉图像中不同性质的特征进行分级,并定义各级特征基线及基线获取法则,实现对图像中尺度信息的抽象与分类;然后,利用各层特征提取的特征基线信息构成多尺度稳定器,实现多层次特征基线尺度信息的传递和更新;最后,结合传统视觉里程计的后端优化方法,解决单目运动平台自主定位问题中尺度基准模糊和位姿计算的误差累积问题。经实验验证,基于MLSS-VO的室内自主定位误差小于3.87 cm,基于MLSS-VO的目标跟踪与定位方法误差小于5.97 cm。通过对以上四个创新点的提炼与整合,本文提出一种基于单目视觉平台的目标自适应定位与跟踪技术框架。该技术框架可以广泛应用于携带视觉传感器的地面机器人、自动驾驶汽车以及旋翼无人机等运动平台的目标识别、目标跟踪以及自主定位与导航等前沿领域。
其他文献
平面直角坐标系是初中数学的基础性知识,需要教师结合适当的问题情境进行讲解.该章节自主学习模式的构建需要让学生首先对抽象的概念有所了解,之后对其概念特征进行探究,从而逐渐掌握建模的数学思想,促进自身思维能力的提升与思维方式的转变.
《雷雨》从诞生至今众声喧哗的评论话语说明了其内涵的复杂性与多面性。本文通过分析曹禺的自白、学界的评论及其之间的关系,指出《雷雨》剧本蕴含的理论张力:希腊传统是曹禺《雷雨》创作中重要的思想资源,但所谓的希腊传统并不是一维的——《雷雨》不仅兼容了索福克勒斯《俄狄浦斯王》中蕴含的悲剧的“命运主题”以及亚里士多德《诗学》中阐释的“悲剧的制作技艺”,也膺守着法国新古典主义汲希腊之源而提出的“三一律”结构法则
现有主流目标跟踪算法图像目标跟踪精度较差,无法满足现今复杂场景图像目标的跟踪,故该文提出基于卡尔曼预测粒子滤波的复杂场景图像目标跟踪算法研究。采用ViBe算法提取复杂场景图像中背景,以此为基础,构建图像目标状态转移模型与对应图像目标观测模型,确定目标运动参数的维度与粒子的权重,基于卡尔曼预测粒子滤波估计目标状态,通过粒子反复迭代与重采样,实现复杂场景图像目标的跟踪。实验数据显示,与7种主流算法相比
红旗渠精神是我党优良传统的时代凝铸,更是我党在社会主义建设时期为民实践结出的精神硕果。它体现了中国共产党人对党忠诚,不负人民,实事求是,艰苦奋斗,为了人民,造福人民的坚定信念和精神基因。新时代,推动红旗渠精神内涵与时俱进、创新弘扬红旗渠精神的路径方式,是坚定文化自信,发挥红旗渠精神凝心聚力、价值引领作用的必然要求。
调研国内外标准化等专业评估理论与方法的基础上,结合我国军工行业实际,开展了标准化工作评估要素体系设计与评估实施模式研究,构建了一套军工行业标准化工作评估要素体系和评估程序模型,确立了覆盖标准化工作全过程和全要素的评估方法,为后续军工行业标准化工作评估的规范化开展提供参考。
锐角三角函数的运算是在初中阶段首次接触的一个知识点,初中阶段锐角三角函数是需要学生掌握锐角三角函数的概念和解直角三角形[1].在初中阶段学好锐角三角函数对于以后的学习是非常重要的[2].本文主要探究了锐角三角函数相关计算以及其在实际生活中的应用[3],分为三部分来介绍.
红旗渠作为民族精神的象征,是人民群众创造力和凝聚力的集中体现,红旗渠精神是中华民族精神的重要组成部分,是新时代研学旅行的重要资源。将红旗渠精神融入研学旅行中,有助于学生坚定理想信念、厚植爱国情怀、加强理想信念、培养奋斗精神、增强综合素质。为此在红旗渠研学中要转变传统思想制约,明确红旗渠研学旅行活动主题;完善相关制度,因地制宜开发多样的红旗渠研学旅行活动;培养专业人员,利用当地资源推动红旗渠研学跨界
盲人群体是一个比较庞大和特殊的残疾人群体,而我国也是世界上盲人数量最多的国家.为了帮助盲人能够独立并且安全的出行,设计了一种基于STM32的智能盲人头盔.本设计主要基于STM32技术,设计和实现了智能语音导航、通信、超声波避障等功能模块,并安装了光敏传感器,当周围光亮降低时便会自动启动头盔上的警示灯,用来提醒周围行人和车辆;同时,为了降低和克服盲人社交困难,头盔的设计还利用了图像识别技术,用来识别
“平面直角坐标系”在初中数学教学中有着特殊的地位,连通了“数”与“形”,为后续的函数学习打下了基础.“平面直角坐标系”的知识内容的维度跨度较大,教师在教学过程中要立足学生的思维起点,设置情景问题,依托数轴引入新知;概念探究要采用类比生成的方式,精设活动引导学生参与讨论;结合数学思想开展规律探究,多层面探究平面直角坐标系的知识应用.
<正>近日,笔者听了杭州市余杭区八年级两位老师开设的二节同课异构公开课,课题为浙教版八年级上《4.3坐标平面内图形的轴对称和平移(1)》.本文就两位老师设计的三个片段谈些想法及处理意见.甲教师片段1:在归纳出直角平面坐标系下任意一个点关于x轴及y轴的对称点关系后,老师设计了以下一个游戏:先由一位同学任说一个点坐标,再由老师规定关于哪条坐标轴对称,最后由知道答案的同学抢答,回答对的同学继续上述步骤,
期刊