基于孪生网络的视觉目标跟踪算法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:to_3000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的发展,视频逐渐成为人们获取信息、传播信息的主要方式,而视觉目标跟踪作为视频自动化处理的重要研究内容,有着广泛的应用前景。基于孪生网络的视觉目标跟踪算法的提出,给视觉目标跟踪领域创立了一个可以兼顾跟踪精度与速度并且模型结构简洁清晰的范式。很多学者对孪生网络跟踪算法进行了研究与改进,孪生网络跟踪器的性能得以不断提升。但是面对视觉目标跟踪中复杂的场景与多样的挑战,孪生网络跟踪器的性能还有很大的提升空间。本文首先对孪生网络跟踪器用于度量模板特征与搜索区域特征相似度的重要组件——“模板匹配网络”进行研究与改进,将原有基于图注意力的模板匹配网络拓展为“多头图注意力模板匹配网络”,从而提升孪生网络跟踪器的整体性能。同时在对孪生网络跟踪器进行实验的过程中分析发现了其预/后处理算法存在不足,引入卡尔曼滤波器来改进传统孪生网络跟踪器的预/后处理算法,进而提升跟踪器的整体性能。主要完成工作如下:1、提出一种基于多头图注意力的相似度度量算法作为孪生网络跟踪器的模板匹配网络。已有基于图注意力的模板匹配网络在孪生网络跟踪器上取得了不错效果,同时多头自注意力机制在计算机视觉其他领域上也有着良好的表现,通过比对图注意力与自注意力之间的联系与区别,将多头自注意力中的多头结构与位置编码引入到图注意力中,提出基于多头图注意力的模板匹配网络。引入多头结构的目是将特征划分为几个独立子空间,用不同层面的特征分别进行相似度度量,从而增强模板匹配网络的相似度度量能力。引入位置编码的目的是给图注意力中空间维度被压缩的特征节点集合重新赋予二维空间信息。为了验证本算法的性能,将本算法在OTB100和VOT2019两个评测数据集上进行性能分析,并且与当下一些主流孪生网络跟踪算法对比。实验结果表明,基于多头图注意力的模板匹配网络使孪生网络跟踪器拥有不错的性能表现。相比使用卷积作为模板匹配网络的算法,在面对“视野消失”、“快速运动”以及“运动模糊”这类场景时,有着更好的表现。同时本文提出的跟踪器在准确度上相比主流跟踪算法也有所提升。2、提出一种基于卡尔曼滤波的孪生网络跟踪器通用预/后处理算法。由于孪生网络跟踪大多沿用同一套预/后处理算法,预处理算法以上一帧预测物体中心为中心来剪裁搜索区域,而后处理算法根据实际经验认为物体帧与帧之间位置大小不会有太多改变而惩罚物体预测包围盒的过大变化。这套算法处理策略较为简单,缺少对物体运动状态的判断,并且实验过程发现,面对不同场景的视频,其性能表现很大程度上依赖预/后处理中超参数的选择。使用卡尔曼滤波引入物体的运动信息,在图像预处理时,提前预测物体所在位置,以预测位置中心为中心进行搜索区域的剪裁,来避免由于物体运动过快移出搜索区域。同时在后处理时使用卡尔曼预测作为物体包围盒的最终结果,提升了孪生网络跟踪器整体性能的同时,减少了所需超参数的个数。最后在VOT2019评测数据集上进行测试,实验表明:将改进后的预/后处理算法运用在Siam RPN++,Siam BAN,以及本文提出的跟踪器上,与传统预/后处理算法相比,整体性能都得到了提升,证明了改进算法的有效性以及通用性。
其他文献
在光照不足情况下拍摄的图像会遭受多种退化,比如低能见度,低对比度以及强噪声等。这些退化不仅会降低图片的视觉美感,而且会退化许多以光照良好的图像作为输入的计算机视觉算法的性能。针对上述问题,本文结合人类视觉系统对亮度的感知特性以及Retinex理论对低光照图像增强进行研究。根据人类视觉系统对亮度的感知特性:背景亮度值较低或较高时,人眼对目标物体和背景之间的亮度变化感知相对不敏感。虽然低光照图像的暗区
学位
目前,在疫情隔离、安防监控和自动驾驶等广泛应用的嵌入式视觉场景中,已获得成熟应用的成像传感器主要有摄像头和LiDAR等。其中LiDAR具有测量结果准确、抗干扰能力强等优点,但是在目标识别方面仍存在不足。而光学摄像头借助深度学习的不断发展,在目标识别上具有较高的准确度,但是容易受到光照、天气等环境影响。因此,在各种资源均受到限制的嵌入式平台下,如何将光学摄像头与LiDAR获取的图像信息进行融合来避免
学位
随着深度学习的飞速发展,深度神经网络在计算机视觉、自然语言处理、推荐系统、交通规划和时序预测等领域取得了令人瞩目的成绩,渗透到生活的方方面面。深度学习使用神经网络堆叠的方式对海量数据进行处理,具有参数量大和计算复杂度高的特点。一方面,神经网络被设计的愈发复杂与庞大以取得更高的精度,对设备的算力和内存要求越来越高;另一方面,应用领域的拓展使在低算力低内存的边缘设备部署神经网络的需求愈发迫切。为解决这
学位
线粒体是细胞内最重要的细胞器之一,其不仅是真核生物进行氧化代谢为细胞提供化学能量的重要场所,还是细胞分裂、分化、凋亡和细胞内信息传递等生理过程的重要参与者。在临床上,一系列疾病都与细胞内线粒体的数量、大小和结构有着密不可分的关系,获取细胞内线粒体的数量、位置、大小和形状对病情诊断、病因溯源和治疗方案的确定有着巨大的帮助。因此,设计具有足够精度的线粒体实例分割算法对临床和生物学领域都有着重要意义。然
学位
在现代空对地作战中,大多采用高、中、低空相结合的多层次、多样式的饱和攻击,地面防空作战将面对严峻的考验。对于地面指挥决策系统而言,一方面要处理复杂多样的敌方信息,另一方面要及时准确地做出相应的对策防御敌方的攻击。为了取得防空作战的主动权,战场的信息融合就显得尤为重要,而威胁评估作为信息融合的关键环节,针对敌方意图和能力的评估可以辅助地面指挥员做出合理的决策,提前构建有效的防御。本文主要以防空作战为
学位
随着现代电子技术的飞速发展,高速高密度的PCB设计越来越多,PCB设计面临的信号完整性问题也愈发严重。高速接口的设计是PCB设计中非常关键的一环,为了保证高速信号的质量必须对高速接口的设计规则进行检查,工程师使用主流EDA工具本身的审查功能只能实现简单的电气规则审查,无法满足实际需求。虽然有些企业和科研机构使用EDA工具中提供的接口函数开发插件以实现自定义审查功能,但是严重受限于设计工具,工具升级
学位
数字化技术在公路路面施工中的应用有助于制定严格、规范、科学、定量的施工管理模式,实现对路面施工全过程的精准把控。论文在对数字化技术进行概述的基础上,分析了数字化技术在公路路面施工中的应用优势。依托路面施工相关参数的收集、利用与管理,立足路面透层试验、沥青改性、混合料运输、路面摊铺与压实等环节,分别探讨了数字化技术的应用场景与应用要点,
期刊
随着便携式电子产品的飞速发展,使得电源管理芯片广泛应用于低压大负载的环境中。本文以低压大负载的应用市场出发,基于非隔离式降压型直流转换器的基本原理,结合关键的补偿技术和自适应死区技术的研究,设计了一款带自适应死区控制的高效电压模降压型DC-DC变换器。本文首先介绍了降压型变换器的拓扑结构,对比分析了常见的几种调制模式,最终选择了电压模控制的变换器。结合芯片的具体定位和指标分析计算了片外拓扑元件的具
学位
目前,图像和视频代替了文本成为了人们日常获取信息的主流途径。随着各种高清智能设备的日渐普及,在科学研究和日常生活中,人们对图像分辨率的要求逐渐提高。从硬件的角度出发去提高图像分辨率成本过高,并且存在着难以解决的技术瓶颈,因此从软件角度出发的图像超分辨率重建技术成为了当下研究的主流。超分辨率重建方法对已有的低分辨图像进行处理,重构出我们所需要的高分辨率图像,在安防监控、医学影像、高清显示等领域均有重
学位
滚动轴承是旋转机械的重要组成部件,在高铁、航空发动机以及燃气轮机等工业关键领域,轴承往往工作于高温、高速、重载的严苛工况下,容易在其多个组件上发生复合故障,早期微弱复合故障的及时诊断对确保旋转机械安全具有重要意义。由于滚动轴承一般安装于机械系统内部的核心位置,采集轴承振动信号的各类传感器无法直接布置在轴承组成部件上,因此采集到的信号通常为机械系统中多个源的混合信号,难以直接分析判断轴承故障类型。为
学位