融合深度残差网络与核相关滤波的长时目标跟踪方法研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:sztsb99
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目标跟踪是近年来计算机视觉的研究热点,已广泛应用于智能交通、智慧医疗和国防科技等领域。但在跟踪过程中存在光照变化、遮挡、尺度变化、目标形变等因素影响了定位的准确程度。随着深度学习浪潮的兴起和数据规模的不断增长,研究学者开始探究结合深度学习的目标跟踪技术。本文建立了融合深度残差网络与核相关滤波的目标跟踪框架,从提高目标定位精度、实现尺度自适应以及长时跟踪这三个方面进行深入探讨和研究。主要成果如下:(1)研究了一种基于深度残差网络的核相关滤波目标跟踪方法。首先,对Res Net50网络结构进行调整,并使用ILSVRC-2012大规模数据集训练调整后的网络;然后,针对预训练过的Res Net50网络进行各层特征可视化分析,并对不同层的特征跟踪结果进行性能分析,选取网络的第三、四层卷积层提取的图像特征作为训练样本,学习得到各层的最佳相关滤波器;最后,将各层的相关响应结果依据跟踪置信度评价函数赋予自适应权重,融合后响应图的最大值处即为目标的所在位置。该研究技术利用调整后的深度残差网络提取图像特征,提升了目标跟踪算法的定位精度。(2)研究了一种基于树形搜索策略的尺度自适应目标跟踪方法。在初步找到目标所在位置后,加入一个快速尺度估计模块。首先,使用快速HOG特征而非再次使用深度特征来训练尺度滤波器,减少特征提取的时间,提高目标跟踪的实时性;然后,通过建立简单尺度池以确定尺度的大致搜索方向,在所确定的尺度变化方向上以类似二叉排序树的树形结构进行不断地二分搜索,减少在尺度模块上的时间开销;最后,通过设计的尺度判别指标确定目标的大小尺度。同时,为了适应跟踪中目标的外观变化,采用模型更新策略对位置滤波器和尺度滤波器进行在线更新。该研究技术利用树形搜索策略实现了跟踪目标的尺度自适应。(3)研究了一种基于双重遮挡感知的长时目标跟踪方法。在长时目标跟踪过程中,目标被遮挡的概率大幅度提升,影响了跟踪算法的准确程度,成为长时跟踪中急需解决的问题。本文首先利用目标与周围上下左右四个相邻块的相关响应信息设计了一个上下文遮挡判别因子(ODFC),利用目标的PSR和ODFC这双重信息进行目标的遮挡判断。其次,充分结合SVM与AdaBoost算法在分类问题上的优势,基于AdaBoost-SVM对严重遮挡状态的目标进行重检测,有效解决长时跟踪中因遮挡导致目标跟丢的问题。最后,在双重遮挡检测机制判断目标被严重遮挡时,暂停位置和尺度滤波器的模型更新,防止引入背景噪声导致的模型漂移问题。该研究技术利用双重遮挡感知和重检测机制实现了目标的长时跟踪。针对本文提出的算法,在OTB2015公开数据集上对上述技术研究进行仿真实验,并与当下的一些主流算法进行定性和定量对比分析。实验结果表明,基于深度残差网络的核相关滤波目标跟踪方法,可以有效提高目标跟踪定位的准确程度;基于树形搜索策略的尺度自适应目标跟踪方法,可以有效解决跟踪中的尺度变化问题;基于双重遮挡感知的长时目标跟踪方法,能够有效解决长时跟踪过程中目标因严重遮挡而导致的目标丢失问题。
其他文献
泽那基斯既是二十世纪作曲大师,也是建筑大师,其双重身份对其音乐创作影响至深。本文通过分析管弦乐作品《Jonchaies》,试图就其音高形态与有机建筑形态进行解析和比对,解读泽纳基斯的音乐创作与建筑形态观的关联和融合。
随着无线通信技术的高速发展,用户在通信过程中对系统安全性能提出了更高的要求。无线网络给用户带来便利性的同时也存在安全隐患,其开放的通信环境使得无线传输很容易受到被动窃听、主动干扰等恶意攻击,这激发了广大研究工作者寻求利用物理层信道特征来提高系统安全性能。本文主要研究了在多用户无线通信网络中的物理层安全问题,通过引入人工噪声、智能反射面等关键技术,并结合多用户调度、功率分配优化等方法,提高多用户无线
基于神经网络对图像中篡改现象进行检测的方法在数字图像取证领域具有巨大的优势,而目前只采用目标检测模型完成鉴别任务的相关工作较少。本文以人脸篡改检测为目标场景,提出相关方法,并在场景中的验证其效果,分析其优劣处,主要工作如下:(1)针对单一识别网络对篡改图片识别性能低的问题,在YOLOv4模型基础上提出一种融合多源视觉线索的人脸篡改检测模型。首先采用多种滤波器提取图像频域和噪声域的特征,并将提取到的
近年来,随着智能移动终端数量的急剧增长,移动通信系统对通信传输速率以及通信设备接入量的需求也日益增加。而多输入多输出(Multiple Input Multiple Output,MIMO)技术和非正交多址接入(Non-Orthogonal Multiple Access,NOMA)技术对空间资源和时/频域资源的充分利用为目前通信系统中的高速率传输和大规模连接提供了坚实基础。因此,本文围绕MIMO
随着中国经济的飞速增长,社会各界对于发票的需求也随之增加。发票是各个工作单位的财务部门核对经济活动并进行报销的重要凭证。目前发票报销流程繁琐、效率低下,且需要大量的财务人员,极大的浪费了社会资源,因此发票报销的智能化是大势所趋。本文利用计算机视觉软件库和深度学习方法,完成了对发票图像的校正、分类等任务,并组合硬件设备实现了发票报销的全过程。首先,本文根据发票的不同特征,完成不同倾斜图像的校正。针对
随着私家车的普及,因危险驾驶行为导致的交通事故日益增多,基于视频的危险驾驶行为检测技术具有重要的应用研究价值。危险驾驶行为具有自发性与偶然性,采用传统视频行为检测方法检测驾驶员行为难免会造成信息滞后。并且驾驶员行为蕴含时序特征,对驾驶员行为进行高效的建模也是行为检测中重要的挑战,想要实现基于视频的危险驾驶行为检测技术并非易事。本文从计算机视觉的角度出发,以视频帧,视频时空特征、时空注意力机制为切入
随着全球气候变化的加剧与城市化进程的加快,极端降雨事件的频率和强度都进一步增加。暴雨引发的城市内涝灾害,往往造成城市交通中断、经济损失,甚至是人员伤亡。因此,如何在降雨过程中捕捉道路交通异常,掌握强降雨事件对城市交通及人群的影响,对降低道路交通风险和保障城市运营具有重要意义。随着浮动轨迹数据、图像监控数据等多源感知数据的丰富,道路交通的研究有了新的视角和数据基础。鉴于此,本研究结合浮动车轨迹等多源
四旋翼无人机由于其结构简单、价格低廉以及灵活机动等特点,被广泛应用于各行各业。随着执行任务的日趋复杂化,单个四旋翼无人机已经无法满足人们的需求,因此多四旋翼无人机的协同控制问题逐渐受到了专家学者们的关注,并且在过去几十年中取得了大量的研究成果。如何使各无人机状态达成一致的同时,使得控制性能达到最优是目前的研究热点之一。自适应动态规划方法能够克服传统动态规划中“维数灾”的问题,可以有效的解决非线性系
近年来,智能交通行业蓬勃发展,对于车联网中车辆终端所请求任务的处理性能不断提高。但传统云计算的大数据系统架构无法满足智能交通系统(Intelligent Traffic System,ITS)应用程序的低延迟要求,针对其弊端,将移动边缘计算(Mobile Edge Computing,MEC)集成到通信网络架构中可以提高车联网中复杂任务的处理能力,同时降低任务的处理延迟。但是常规的任务卸载方式大多
传统的推荐方法主要是抽取用户或项目的有效特征并利用矩阵分解技术学习用户和项目的隐向量矩阵。这类方法需要用户的显式反馈以及辅助特征,难以扩展至大规模数据,同时会因数据稀疏出现冷启动问题。由于推荐系统中用户和项目的交互数据本质上也可以抽象为非欧几里得空间的图(或网络),因此基于图学习的推荐系统得到了极大的关注。网络表示学习能够自动学习一个将节点映射到保留结构信息的低维稠密空间的函数,将其应用到推荐任务