【摘 要】
:
视觉目标跟踪分为短时跟踪和长时跟踪。短时跟踪对应的视频时长约在几十秒左右,主要解决跟踪过程中的亮度变化、尺度变化、旋转、运动模糊等对被跟踪目标的干扰。与短时跟踪方法相对成熟稳定不同,长时跟踪中由于视频序列更长,存在的目标变化、遮挡和消失情况较多,常规的短时跟踪网络和算法性能急剧衰减,因此开展长时跟踪方法研究,对解决实际应用具有重要的研究意义。另外,以深度学习为基础的长时跟踪研究近几年刚起步,数据集
论文部分内容阅读
视觉目标跟踪分为短时跟踪和长时跟踪。短时跟踪对应的视频时长约在几十秒左右,主要解决跟踪过程中的亮度变化、尺度变化、旋转、运动模糊等对被跟踪目标的干扰。与短时跟踪方法相对成熟稳定不同,长时跟踪中由于视频序列更长,存在的目标变化、遮挡和消失情况较多,常规的短时跟踪网络和算法性能急剧衰减,因此开展长时跟踪方法研究,对解决实际应用具有重要的研究意义。另外,以深度学习为基础的长时跟踪研究近几年刚起步,数据集和跟踪效果正处在发展完善阶段,在精度、鲁棒性方面仍然有许多不足,如何设计一个高精度且鲁棒的长时跟踪算法,是一个值得深入研究的问题。本文的主要工作如下:(1)针对长时跟踪任务要求跟踪算法具有抗遮挡的能力,本文采用了一种孪生网络和目标检测结构相结合的卷积神经网络框架(Global Track)作为基线网络,该基线可以实现对目标在当前帧存在或丢失状态的判别。(2)提出一种多阶RCNN级联的长时跟踪算法。多阶RCNN级联可以滤除背景干扰和简单相似目标干扰对跟踪算法的影响,提升跟踪算法的鲁棒性。并且多阶段的坐标精细化能更加精准的回归出被跟踪目标的位置,提高跟踪算法的精确度。(3)提出一种鲁棒的孪生网络。孪生网络利用两个相同配置的Res Net50作为特征提取网络,本文将ResNet50中的标准卷积替换为可变形卷积,可变形卷积在特征提取时增加额外偏移量的空间采样位置,自适应调整卷积的感受野,能够对复杂多变的目标进行有效的特征提取,提升跟踪算法的鲁棒性。(4)提出一种锚框引导的长时跟踪算法。孪生网络提取的模板帧信息作为引导信息,结合引导信息在可能出现目标的位置上放置锚框。每个位置上预测的锚框的形状并不相同,从而生成更加稀疏和高质量的候选框,提升了跟踪算法的精度。本文最终将所有的创新点融合在一个跟踪网络上,实验证明,在公开的长时跟踪数据集上,相比于其他现有的跟踪器,本文的跟踪网络具有更强的判别能力且能得到更准确的跟踪框,算法取得了很好的效果。
其他文献
目前,深度学习算法已经广泛应用于SAR(Synthetic Aperture Radar)图像的舰船目标检测领域。不过,由于舰船目标在SAR图像中呈现分布稀疏、尺寸差异大、长宽比悬殊等特点,这导致传统Faster R-CNN算法检测这种类型的舰船目标时存在准确率低、漏检率高等问题。针对上述问题,本文开展的主要工作如下:首先,针对传统Faster R-CNN算法在检测舰船目标存在的局限性,提出了一种
随着社交媒体成为主流传播途径,信息量远超人工审核能力。同时,确保信息有效性是保障社会公序良俗的关键,因此遏制假新闻传播已成为亟待解决的问题。但假新闻数量多、形式杂导致难以进行有效监管。传统方法通过概率模型进行判别,但模型搭建难、技术落地成本高且效果不理想。本文聚焦于新闻真实性鉴别,以多特征融合方法为主要研究方法,基于深度学习的方法,搭建了新闻实体鉴别模型以及新闻图像鉴别模型。(1)多特征融合新闻真
多源传感器管理通过资源分配支撑传感器网络完成多目标跟踪及多目标分类等任务,并且通过多任务调度提高系统响应速度。本文对多目标跟踪及多目标分类下的传感器部署分配以及多任务调度进行研究,提出两种算法及一种模型。主要工作及成果包括:1、针对多目标跟踪情景中传感器应当采取何种策略选取哪个或哪几个目标进行跟踪的问题,本文设计模糊逻辑系统从目标与传感器之间的距离、目标的速度、加速度以及航向角四个维度来量化目标威
雨天采集的图像和视频中,视觉内容极易受到雨水遮挡,能见度低,为我们正确理解视觉信号内容带来了巨大挑战,迫切需要高效的视觉信号去雨方法。然而,由于雨水在时空域的外观变化剧烈,且分布不尽相同,为我们有效去除雨水,并保护无雨区域的纹理细节带来了诸多困难。为了解决上述问题,本文从刻画雨水在图像视频中的时空域变化特点出发,展开了视觉信号去雨算法研究:(1)针对雨水在空域上分布不均、外观各异的特点,提出了基于
深度学习模型在很多识别或分类的视觉任务中均效果出众,能够取得极高的预测准确率,但当被识别或分类的图像被添加一些人眼无法察觉的对抗扰动时,识别器或分类器的预测准确率便迅速下降,这一过程被称为对抗攻击,被添加扰动的图像被称为对抗样本。在生成对抗样本的研究工作中,对于已知模型内部参数的白盒攻击方法和针对全图像素区域的扰动添加方法,攻击成功率已经达到了很高的水平。但是在未知模型内部参数的黑盒攻击方法和限制
近年来,越来越多的计算机视觉任务与深度学习相结合并取得了突破。目标检测是众多计算机视觉应用中的底层任务,在工业界的部署十分广泛,因而随着这些算法的成熟和性能提高,越来越多的场景开始尝试计算机视觉算法的落地。在这些任务中,车辆目标检测是前景巨大发展迅速的落地场景之一,比如:车辆停车检测、交通违规检测、无人驾驶等。但与学术界不同的地方在于,除了精度,工业界对算法速度和资源消耗等成本问题更为看重。因此本
生成对抗网络作为一种重要的深度生成方法,它具有与输入数据维度线性相关的计算复杂度、不需要对目标数据分布做出任何先验假设、生成逼真样本的能力十分出色等显著优势。生成对抗网络已广泛应用在计算机视觉和自然语言处理等众多领域上,它可以生成各类真实的自然图像、文本、语音等数据。然而生成对抗网络存在的训练不稳定、生成结果存在模式坍塌现象等问题制约着其进一步地发展及应用。因此,改进生成对抗网络的研究及其应用不仅
超宽带雷达具有广泛的应用场景,例如军用弹头识别,飞行器识别、民用机动车识别、行人识别、家庭报警、救灾探测等。由于超宽带雷达属于新体制系统雷达,其目标的回波携带了较宽带雷达信号更为复杂的电磁波谱信息,因此可以通过多种信号分析手段提取到比传统体制更有效的目标识别特征,从而尽可能地利用超宽带体制带来的优越性。本论文主要对超宽带雷达回波进行信号处理后生成的时域高分辨一维距离像(HRRP)与频域电磁散射特征
稀疏贝叶斯学习(Sparse Bayesian Learning,SBL)算法是一种基于贝叶斯理论的稀疏重构算法,在阵列信号处理、频谱感知、雷达定位、图像处理等领域中得到了广泛的应用。传统稀疏贝叶斯学习算法假设噪声服从高斯分布,但是在一些实际应用环境中,存在多种复杂环境噪声,此时传统的概率假设无法提供准确的先验信息,针对这一问题进行改进,可提高稀疏贝叶斯算法在复杂环境下的性能。本文从环境噪声模型的
高动态范围(High Dynamic Range,HDR)图像拥有丰富的色彩和细节信息,能够更真实地表现实际场景,但使用硬件直接捕获HDR图像的方法成本昂贵,难以普及,现阶段大多采用软件算法获取,主要包括多曝光HDR图像获取方法与单曝光HDR图像获取方法。多曝光方法需要处理图像中前景移动所带来的鬼影效应,并进行多帧对齐,而单曝光方法则可以直接避免此类问题。本论文主要研究基于深度学习的单曝光HDR图