基于跨帧注意力孪生网络的多目标跟踪及其域适应研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:asd137889706
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多目标跟踪作为计算机视觉领域一项重要的基础任务,其目的为完成对视频序列中感兴趣目标的精准定位和身份判定,在自动驾驶、视频监控、人机交互、行为分析等领域上有着广泛的应用。随着深度学习的快速发展,得益于深度网络强大的特征表征能力和更多数据集的提出,多目标跟踪技术也取得了长足的进步。然而在面对遮挡、尺度变化、相似外观目标等场景时,现有的多目标跟踪算法的准确度的鲁棒性还有待提高。在实际应用中处理的数据与公开数据集之间存在着分布差异,也使得直接使用已训练好的模型难以在实际应用中获得良好的性能。针对以上两个问题,论文的主要工作和贡献如下:(1)系统梳理了多目标跟踪领域现有的研究工作,从框架原理、算法分类和关键技术等角度,阐述了该领域的研究现状和发展方向。本文首先对多目标跟踪的流程框架进行总结和原理性阐述;然后根据数据关联方式的不同对相关算法进行分类,介绍了一些代表性的研究工作,并简要分析了各类方法的优势与不足;针对跟踪任务面临的问题与挑战,本文也对框架中几个关键技术的演进和改进设计进行了深入的讨论。(2)提出了一种基于跨帧注意力孪生网络的多目标跟踪算法,有效提升了算法在跟踪过程中发生遮挡、出现相似外观目标等情况时的跟踪效果。该算法基于目标检测模块与目标位移预测模块协同的网络架构,结合目标的运动信息建模,建立外观与运动相结合的数据关联机制。算法利用孪生网络强大的前景-背景区分能力,以及运动信息在遮挡情况下对外观信息的补充,能够更加准确的预测跟踪目标在当前帧的位置,并在复杂的场景中完成目标的身份分配。该算法还引入了跨帧注意力模块,通过传递历史帧的目标位置信息来指导当前帧的特征增强过程,有效改善了跟踪过程中因单帧信息不足而可能发生的漏检、漂移问题,提升了目标轨迹的准确性和完整性。实验验证了该算法设计的有效性,并在MOT17、MOT20测试集上取得了较为先进的结果。(3)提出了一种基于高低层特征对齐的多目标跟踪无监督域适应方法。至论文收笔之日,公开发表的有关多目标跟踪无监督域适应方面的论文很难检索到,在一些重要期刊、会议上,还没有找到相关研究工作的论文,本文的研究借鉴了其他领域的相关研究工作。本文提出的方法首先使用生成对抗网络进行源域数据的风格转换,以降低源域数据与目标域的分布差异;在进行跟踪模型的训练时,采取浅层视觉特征和深层语义特征两个层次的、基于对抗训练的特征对齐,引导模型学习到域不变性质的特征。为了证明所提出算法的有效性,本文在公开数据集MOT17和MOTSynth上进行了实验验证。通过以上的域适应方法能够有效地获得目标域模型,并可以在实际应用中省去繁重的数据标注工作,具有重要的研究意义和应用价值。
其他文献
冻融循环是作用于土壤内部的常见物理过程,广泛发生于北半球的中高纬地区。冻融循环过程直接或间接的影响土壤的理化及生物学性质,是影响土壤碳、氮生物地球化学过程的重要因素。全球气候变暖已是不争的事实,这势必改变冻融循环的模式,进而影响土壤碳库稳定性。因此,本文以长白山金川泥炭沼泽为研究对象,通过室内冻融循环模拟实验和气象色谱法、氯仿熏蒸法及磷脂脂肪酸方法等室内分析方法,揭示冻融循环作用下泥炭沼泽土壤活性
学位
为了应对因网络拥塞、网络重路由、信道干扰等造成的网络传输过程中数据丢包问题,数据包级的前向纠错码被广泛应用。论文围绕可Zigzag解码的前向纠错码(简称Zigzag)的解码算法研究,旨在折中解码计算复杂度与前向纠错性能,优化Zigzag的解码过程,降低Zigzag解码算法的计算复杂度。首先,论文定义了解码移位矩阵,分析了Zigzag和无速率Zigzag解码算法原理,并验证了Zigzag和无速率Zi
学位
位于北方泥炭地南部边缘的长白山区受东亚季风控制,泥炭沼泽发育广泛,类型齐全,人类活动干扰小,沉积连续,是古气候研究的理想场地。本文选择长白山金川泥炭地和露水河泥炭地作为研究对象,通过对泥炭剖面的有机碳含量、干容重、含水量等理化性质测定,剖面植物残体鉴定,以及稳定碳、氧同位素分析,结合210Pb/137Cs和AMS14C定年技术,探讨了晚全新世以来长白山区不同泥炭地植被演替和碳累积动态及其对气候变化
学位
伴随着快速城镇化、工业化和农村现代化的持续推进以及乡村规划的相继实施,农村发展的两大核心要素:人口与土地发生着显著的变化,突出表现为农村居民点要素、空间、土地的集约整合利用。农村居民点是农户日常进行生产生活的场所,是农村地域人地关系的核心,探寻农村居民点空间布局重组优化是有效推进新农村建设、助力新型城镇化发展的重要措施,同时也有利于丰富乡村聚落地理方面的区域性研究。本论文的研究区域吉林省靖宇县能够
学位
水声通信是支撑海洋资源开发的关键技术之一。但是,水下传输环境复杂多变,水声通信信道多径效应严重、带宽受限、环境噪声高,这些特性都给水声通信系统的设计带来了极大的挑战。极化码是一类信道容量可达的信道编码方法,具有确定性的编码构造,可以用作水声通信的前向纠错(Forward Error Correction,FEC)码。由于窄带宽特性,水声通信信道中采用较短码长的极化码,而极化码的串行译码结构存在错误
学位
森林是世界上最大的陆地生态系统,是全球生态系统的重要组成部分。它们在维持生态系统和调节气候方面发挥着重要的作用。森林火灾是影响森林生态系统的重要因素,据统计,全球每年平均发生20万起森林火灾。每年被森林大火烧毁的面积占世界森林总面积的1%以上。中国每年发生森林火灾10000余起,年火灾面积占中国森林总面积的5%以上,这些严重的自然灾害每年都造成严重的经济损失。长白山区是我国气候变化比较剧烈的地区之
学位
随着人类对海洋的不断探索,海底声成像技术已成为研究热点。单基地声纳成像系统利用后向散射来获取海底散射强度,但作用距离短。双基地成像系统采用分置的垂直发射阵和拖曳水平接收阵,充分利用海底各个方向的散射信号进行成像。拖曳水平接收阵移动过程中会得到多帧携带海底地貌信息的成像图,研究如何对多帧海底成像图进行融合具有重要的意义。然而目前对双基地海底混响成像图进行融合的研究还相对较少,本论文致力于研究一种适合
学位
随着水下探测、海洋生物研究等任务的开展,水声传感器网络开始得到大规模的研究和应用。复杂的水下信道环境对水下组网的数据传输提出了挑战,为了提高水下传感器网络的性能,满足实际应用需求,最为关键的技术之一就是水下路由协议的设计。目前水声传感器网络存在以下两种典型场景,其中单sink稀疏型水下网络是最常见的一类应用场景。其节点数目较少、连通性差、拓扑呈现动态变化,路由协议的设计需着重考虑到节点的移动性,减
学位
随着科技的发展,室内定位在智慧工厂、智能家居、紧急救援等场景下都有广泛应用。由于受到建筑物的遮挡,室内环境下无法使用全球导航卫星系统进行定位。在目前各种方案中,超宽带(Ultra-Wideband,UWB)定位具有功耗低、精度高、抗干扰性强的优势,是室内定位的理想方案。本文对UWB定位技术进行了深入研究,研究内容主要包括定位系统的构建以及定位误差的修正。本文对UWB定位的相关原理进行了理论推导。通
学位
受到昆虫、鱼群和其他生物的集体行为的启发,群体机器人系统能够使用个体间的有限通信信息和相似的简单分布式控制策略完成复杂任务。由于缺少能够对系统进行宏观控制的中心节点,群体机器人系统容易受到节点故障的影响,非合作行为通过通信扩散到整个网络,因此故障的检测显得尤为重要。群体机器人目标聚集是群体机器人研究中的一个基础问题,解决了机器人团队在保持群体行为性能的同时,协同移动到某一目标的问题。移动自适应网络
学位