基于记忆网络的单目标跟踪算法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:battichen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
单目标跟踪作为视觉目标跟踪领域的基础分支,涌现了一批基于深度学习的跟踪模型,其中基于深度孪生神经网络的单目标跟踪模型在跟踪鲁棒性和实时性两方面达到了良好的平衡,成为影响最广泛的单目标跟踪模型。为了满足实时跟踪的需求,此类跟踪模型根据视频初始目标外观初始化模型参数,在跟踪过程中模型参数保持固定。然而视频后续帧的目标外观相比于初始目标外观一般会发生显著变化,若跟踪模型不进行参数更新,将无法学习到后续目标外观的特征,严重影响跟踪性能。针对该问题,跟踪模型需要在跟踪过程中在线更新模型参数,学习后续的目标外观特征。历史跟踪结果中包含了目标的外观信息,可以作为在线更新跟踪模型的样本。本文研究如何利用历史跟踪结果在线更新跟踪模型参数,主要研究工作有:(1)基于图像位置注意力机制与记忆网络的目标跟踪模型。Mem Track利用写控制器将历史跟踪结果保存在记忆网络中,并通过读控制器从记忆网络中读取跟踪结果,在线更新跟踪模型。针对Mem Track训练难以收敛,记忆网络的读写信号生成较混乱的问题,提出了基于图像位置注意力机制的记忆网络读取模块,以及基于混合高斯模型的记忆网络写入模块,使读写信号的生成与当前帧的特征高度相关,同时将记忆读写模块解耦,降低了跟踪模型的训练难度。最后,在改进的记忆网络读写模块基础上设计了基于图像位置注意力机制与记忆网络的单目标跟踪模型Attn-Mem Track,在OTB100数据集上相比于Mem Track跟踪准确率提升1.4%,跟踪成功率提升1.9%。(2)基于小样本学习与记忆网络的目标跟踪模型。随着当前帧与初始帧的时间间隔增加,历史跟踪结果中的目标不能保证在中心区域,即发生跟踪不对齐,导致Attn-Mem Track的写入操作向记忆模块引入噪声,对目标特征的表达能力下降。此时,通过读取记忆模块对跟踪模型进行更新不足以使Attn-Mem Track完全地学习目标的外观变化。针对历史跟踪结果中目标不对齐的问题,提出了基于编码器-解码器的跟踪结果特征重构网络,编码器通过膨胀卷积操作使输出特征中心包含跟踪结果的全局信息,解码器根据编码器的输出重构目标特征,在基于感知损失和三元组损失的目标函数监督下,确保重构的特征在中心区域,且与实际目标相似。针对特征重构网络训练样本少,在线微调收敛速度慢,以及无法实时重构的问题,利用小样本学习中的片段训练机制训练该网络。通过离线构建大量与特征重构任务相似的任务训练特征重构网络,使网络学习如何重构多类目标。同时在跟踪过程中固定网络参数,实时重构目标特征。在此基础上,将基于小样本学习的特征重构网络与Attn-Mem Track相结合,提出了基于小样本学习与记忆网络的目标跟踪模型Attn-Mem Track-FSR。在OTB100数据集上,该模型相比于Attn-Mem Track跟踪准确率提升4.7%,跟踪成功率提升2.9%,提升了跟踪模型的鲁棒性。
其他文献
学位
二十一世纪是电子信息的时代,智能化是计算机技术在各个领域不断渗透和融合的趋势,工业智能化更是世界前列国家的重点发展方向。智能仓储不仅在铸造业、加工业等产出十分可观的工业领域投入使用,近年来更是倍受各大电商平台的青睐。储位规划作为智能仓储的核心业务,需要更加独立和深入的研究。本文建立SOQN储位规划模型,并在模型基础上设计储位规划存储策略。存储策略通过存储分区、轮换调度等方式,有效缩短运输距离并降低
随着在线信息爆炸式增长,推荐算法在缓解信息过载方面发挥着越来越重要的作用。推荐算法旨在利用能够获取的数据信息为用户提供准确多样的服务。另外,近年来图神经网络的研究逐步兴起,其可学习到图数据中节点信息和拓扑结构信息,并在多种领域得到了广泛的应用。而推荐算法中使用的信息大多具有图结构,因此图神经网络非常适合推荐算法。本论文将基于图神经网络进行社会化推荐算法和知识图谱推荐算法的研究。对于社会化推荐,主要
怵高平均功率、窄脉冲宽度的超短脉冲激光在基础科学研究、精密制造和生物医学等领域中扮演着越来越重要的角色。在众多飞秒激光器中,激光二极管直接泵浦的掺镱块材料全固态飞秒激光器具有结构紧凑、光学性能优异、简单可靠、成本低廉等优点,已成为超快激光领域的研究热点之一。特别是克尔透镜锁模的掺镱全固态飞秒激光器,不仅可以输出更短的脉冲宽度,而且输出功率也不会受到可饱和吸收材料损伤阈值的限制。但由于启动克尔透镜锁
近些年来航空航天技术得到迅猛发展,因此远距离的卫星通信、深空通信等成为研究的热点之一,继而适用于此类通信场景的连续相位调制技术(CPM)的研究也逐步深入。CPM是一种恒包络的具有较高的频谱效率与功率利用率的数字调制技术,其优点与调制参数联系密切,但同时这些参数也影响着解调复杂度。此外由多普勒或者不精确同步导致的频偏与相偏也会对CPM信号解调造成影响。为了在应用CPM信号优点的同时也能兼顾系统的可靠
高光谱遥感图像不仅记录了二维平面的空间信息,还包含了数百通道的光谱数据。由于空间分辨率的有限,高光谱图像中普遍存在多种物质混合而成的高光谱像元。从高光谱像元中分离出混合物质的光谱及其相应比例,即高光谱解混,是一项关键的高光谱遥感技术。伴随着日渐成熟的高光谱成像技术,解混方法得到了长足的进步和发展,其中的无监督盲源解混是一个普遍而又具有挑战性的问题,将自编码网络应用于无监督解混是近年来的一个热门方向
正交频分复用技术(Orthogonal Frequency Division Multiplexing,OFDM)是一种将频率选择性衰落转换为平坦衰落的多载波调制技术。OFDM系统在进行相干检测时通常需要进行信道估计以获取信道状态信息,带来了较高的实现复杂度。在动态复杂的多径信道环境下,信道状态信息难以获得,信道估计往往需要更复杂的估计算法或插入更多的导频来确保信道估计结果的准确性,这样就付出了很
雷达辐射源信号的参数测量、分选是现代电子战中至关重要的环节,其先进程度可以代表一个国家电子对抗系统的发展水平。随着雷达技术的发展,以及电磁环境的日益复杂,如何准确、有效、快速的对接收到的雷达脉冲进行参数测量、分选成为相关研究人员进行侦察设备软硬件设计时的重要考量。本文主要研究复杂信号环境下的被动雷达信号处理关键算法,提出使用CPU+GPU异构系统对整个数据处理流程进行优化实现,具体包括以下几个部分
射频识别(Radio Frequency identification,RFID)技术是物联网的重要技术之一,在城市公共安全、现代化智能家居、智能交通出行、农业环境监测等领域被广泛应用。RFID系统中的无线通信方式使得RFID系统面临着信道窃听,标签或阅读器伪造,标签跟踪,重放信息,信息篡改,去同步攻击等诸多安全威胁。由于资源受限的问题,传统加密算法和认证协议无法直接应用到射频识别系统当中,因此探
近年来,物联网技术不断发展,射频识别(Radio Frequency Identification,RFID)作为物联网感知层关键技术受到了国内外学者的关注。RFID系统前端是基于开放的无线通信环境,这使得存在于无线信道的窃听、跟踪、重放、拒绝服务等攻击都可以在RFID系统中实施,从而造成安全与隐私泄露问题。供应链环境下,携带标签的物品要发生多次易手,仅物品的易主是不完整的,需要进行标签的所有权转