论文部分内容阅读
随着自动驾驶车、民用无人机等相关领域应用的快速发展,基于运动视觉平台的目标识别、定位与跟踪技术已经成为机器人学、人工智能等领域的热点研究方向。目前,基于二维图像的目标定位与跟踪理论研究已经相对成熟,但面向低成本运动视觉平台场景的目标三维空间定位与跟踪问题仍然存在诸多难点,如非合作跟踪场景下由于样本匮乏而导致的模型检测精度低、神经网络模型严重依赖平台运算性能、单目视觉对目标空间深度值估计不准以及单目视觉里程计方法的尺度不确定与尺度漂移等问题。这些难题极大地制约了地面机器人、无人机等运动平台在目标空间定位、智能避障、自主定位与导航等方向上的应用。本文聚焦目标跟踪问题下的小样本集图像增广方法、带深度参数的多尺度检测网络模型训练方法、几何约束条件下的空间定位算法以及单目视觉里程计中尺度去模糊方法等关键问题,开展了系统性的研究;并基于运动视觉平台(手持相机、小型旋翼无人机等)开展了大量的室内外仿真与无人机飞行实验以论证本文相关工作的有效性;最终提出了一套基于单目视觉平台的目标自适应定位与跟踪技术框架,研究了样本受限场景下的检测网络模型训练、高质量运动目标样本集构建与多尺度检测模型优化、单目视觉下目标深度快速估计与空间定位以及单目视觉里程计中不确定尺度恢复等关键性难题。本文的主要创新与贡献如下:1)针对运动平台目标跟踪场景下平台抖动与初始训练样本稀少等问题,提出了一种面向运动平台目标跟踪的小样本集图像增广模型(Limited Sample Sets Augmentation for Object Tracking,LSSA-OT),其通过对样本集数量的扩充与样本特征维数的提升,以解决样本匮乏场景下样本特征难以涵盖运动目标成像特征而造成泛化能力弱等问题。首先,该模型利用相似、仿射和投影变换进行样本的几何形态特征增广,实现目标几何特征的维度扩充;然后,提出了一种新的随机背景填充方法解决几何变换后的由于图像边缘信息缺失问题,同时提升负样本区域图像质量以防止正负样本特征信息量失衡;进一步地,针对运动平台抖动与目标快速运动时产生的成像模糊问题,提出了一种多向叠加模糊增广算法以提高样本集对模糊图像的抗噪能力;最后,结合传统增广方法对模型中各个增广模块给出可调节的增广概率参数,实现基于运动平台场景下的小样本集图像增广模型构建。经实验验证,该方法在只有少量样本可供模型训练且运动目标具有空间旋转、目标存在模糊和抖动等情形下,检测模型的检测精度至少提升8%。特别地,针对具有平面特性的目标,本文采用的仿射和投影变换的增广方法可以提升12%以上的模型检测精度。2)针对神经网络检测模型运行参数多、实时计算处理能力较差的问题,提出了一种基于样本空间深度参数辅助训练的单阶段多尺度神经网络检测模型(Fast Depth-Assisted Single Shot Multi Box Detector,FDA-SSD),其通过带运动参数的图像训练样本集辅助检测模型对目标的空间深度信息进行预学习,使得该模型能自适应地匹配最优检测器,以解决模型运行参数优化与检测速度提升等问题。首先,提出一种面向目标跟踪的带运动参数图像样本集建立方法,将样本图像、样本目标运动参数以及相机运动参数进行匹配以获取一种高质量的训练样本集;然后,将该样本集通过前馈神经网络与原始SSD模型进行融合训练,使FDA-SSD模型获取深度参数与多尺度特征分类器之间的匹配关系,并通过将二维图像样本训练改进为带有空间尺度参数融合的三维空间样本训练,使得模型自主匹配最优检测器从而提升目标识别的检测效率。经实验验证,在GTX1060运算平台下,FDA-SSD模型运算速度为28.7 fps,比传统SSD快16.5%左右;在基于FDA和几何约束定位方法的目标跟踪实验中,目标跟踪均方根误差小于4.72 cm。3)针对跟踪场景下目标的深度信息估计慢、空间定位难的问题,提出了一种单帧平行特征定位法(Single-frame Parallel-features Positioning Method,SPPM),其通过对目标几何约束关系的提取与深度求解模型的建立,利用跟踪目标的尺度信息和几何特征,实现了目标的深度值快速估计和空间精准定位。首先,对跟踪目标进行边缘分割与关键特征点提取,获取目标特征点的空间约束关系;然后,利用目标跟踪初始化阶段获取的目标尺度、几何约束以及投影方程,实现目标深度值求解模型的构建;最后,针对深度求解方程组中非线性、高次性、超定性等不易获取解析解的特点,引入带有五阶收敛性的Runge-Kutta数值迭代方法,实现了对目标深度的快速数值求解与空间定位。经实验验证,SPPM在室内定位实验中具有良好的鲁棒性,室内目标静态定位估计均方误差百分比小于1.04%,无人机动态目标跟踪均方误差小于7.26 cm。4)针对单目视觉里程计中尺度不确定性和尺度漂移问题,提出了一种带有多特征尺度稳定器的单目视觉里程计方法(Multi-level Scale Stabilizer for Visual Odometry,MLSS-VO),其通过将跟踪问题中的目标尺度参数和传统单目视觉里程计位姿数据进行融合,利用多层特征尺度传递与更新,以解决单目尺度不确定性和尺度漂移问题。首先,对单目视觉图像中不同性质的特征进行分级,并定义各级特征基线及基线获取法则,实现对图像中尺度信息的抽象与分类;然后,利用各层特征提取的特征基线信息构成多尺度稳定器,实现多层次特征基线尺度信息的传递和更新;最后,结合传统视觉里程计的后端优化方法,解决单目运动平台自主定位问题中尺度基准模糊和位姿计算的误差累积问题。经实验验证,基于MLSS-VO的室内自主定位误差小于3.87 cm,基于MLSS-VO的目标跟踪与定位方法误差小于5.97 cm。通过对以上四个创新点的提炼与整合,本文提出一种基于单目视觉平台的目标自适应定位与跟踪技术框架。该技术框架可以广泛应用于携带视觉传感器的地面机器人、自动驾驶汽车以及旋翼无人机等运动平台的目标识别、目标跟踪以及自主定位与导航等前沿领域。