基于深度孪生网络的视觉目标跟踪算法研究

来源 :江南大学 | 被引量 : 0次 | 上传用户:daqizzq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视觉目标跟踪经常被应用于无人机、视频安防、智慧城市等领域,其任务是给定初始帧中待跟踪目标物体的信息,在后续视频帧中预测目标的实际位置和尺寸大小。在复杂背景环境下既保证跟踪精度又保证跟踪速度是视觉目标跟踪任务的难点。本文以深度孪生网络结构为基础,针对当前视觉目标跟踪算法中存在的难点问题展开研究,具体研究成果如下所述:(1)通常卷积网络提取到的特征包含低层、中层和高层抽象信息。许多孪生网络类跟踪算法在进行互相关操作时,仅利用卷积网络最后一层提取到的特征计算分数响应图,未有效利用网络提取到的目标各层次特征。针对以上问题,基于孪生网络框架提出多特征融合的目标跟踪算法。首先,利用主干网络提取目标各层次特征。然后,通过多特征融合模块对网络浅层和深层特征进行融合。最后,分别利用融合后的特征和卷积网络最后一层提取到的特征获取两个阶段中的分数响应图,并将两阶段分数响应图进行融合获取目标在响应图中的位置。(2)预训练网络带来的冗余通道以及待跟踪目标周围相似性干扰物体可以导致网络提取的特征不能完全适用于待跟踪目标物体。针对以上问题,在深度孪生网络框架下,提出梯度导向的通道选择目标跟踪算法。首先,在预训练网络后面嵌入梯度导向模块,以选择对当前目标而言表达能力较强的特征通道。然后,利用开关-惩罚函数抑制相似性干扰物体。最后,在孪生网络模板分支和搜索分支部分,利用逐通道互相关操作获取加权后的分数响应图,以使定位更加准确。(3)在视频序列中,待跟踪目标物体尺寸、形状等外观信息随着时间推移往往会发生很大变化。如果在后续视频帧中仅利用初始帧信息建立目标外观模型,则跟踪算法不能捕捉到目标外观发生变化时的信息,在跟踪过程中跟踪精度和准确度将受到影响。针对以上问题,提出一种融合目标时序信息的跟踪算法,该算法对目标历史帧信息进行建模。首先,将目标初始模板特征、当前帧模板特征和上一帧融合的模板特征输入时序融合模块,该模块将目标历史帧信息和当前帧信息进行融合作为下一帧特征输入跟踪算法中。其次,为了防止目标漂移对时序融合产生负面影响,建立目标历史模板仓库,跟踪时根据模板相似度修正目标模板。
其他文献
高性能、低功耗、高可靠已成为微处理器的发展趋势。一方面,高性能始终是微处理器设计的主要研究方向;另一方面,低功耗和高可靠设计方法会对微处理器造成一定的性能损失,如何以更少的时序代价实现低功耗和高可靠设计,也成为了微处理设计中的关键问题。近年来,开源免费的RISC-V指令集受到了学界和业界的广泛关注。研究面向RISC-V微处理器的性能优化方法,具有重要的工程实践意义。本文以基于RISC-V指令集的R
背景:结直肠癌(CRC)是人类常见的消化道恶性肿瘤,每年都有较高的发病率和病死率,特别是在中国,随着人民生活水平的提高,饮食结构发生了重大变化,CRC的发病率呈逐年上升趋势,严重损害患者的健康与生命。共刺激分子B7-H3是免疫检查点蛋白之一,在多种肿瘤类型组织中广泛过表达,与患者不良预后相关。吡咯-5-羧酸还原酶1(PYCR1)是一种线粒体酶,也是参与脯氨酸合成的关键酶,研究显示其在CRC患者组织
高脂饮食是前列腺癌发展的重要危险因素。棕榈酸是膳食脂肪酸中最常见的饱和脂肪酸,也是脂肪酸合成酶(Fatty acid synthase,FASN)的主要终产物。已有许多研究表明,FASN在多种癌症中呈高表达,而FASN表达水平的增高会导致体内合成脂肪酸增多。有研究报道称,肿瘤细胞的增殖依赖于内源性的脂肪酸合成。然而,富含棕榈酸饮食对前列腺癌发生发展的影响少有报道。因此,本文旨在研究富含棕榈酸饮食在
计算机视觉是计算机领域研究的重要分支,一直以来倍受学者、专家关注。其中机器视觉中的单目标跟踪方向,由于其在实际生活中被广泛应用,一直以来成为被研究的热点。目标跟踪任务因其跟踪的目标本身的不确定性以及其跟踪环境的复杂性,会面对诸如目标遮挡、尺寸变化、运动模糊以及长时间跟踪等问题。因其应用场景的复杂性,这就要求跟踪算法有较强的环境适应能力,即良好的鲁棒性。本文针对目标跟踪面对的难题,提出一系列的解决方
随着社会各方的需求、信息化的推进以及计算机视觉的发展,微表情识别领域得到了越来越多的关注,研究人员对其所进行的研究越来越深入。在商务谈判、刑事审讯、心理治疗等场合中人们会有意无意的隐藏自己的真实情绪以此来达到他们的目的,微表情是人类的肌肉语言,在此类情况下使用微表情识别的结果作为判断依据,可靠性则会大大提升。微表情区别于寻常宏表情的显著特点:(1)持续时间短(1/25-1/5秒);(2)肌肉运动幅
视觉目标跟踪是计算机视觉领域的一个重要分支,在智能视频监控、无人驾驶、人机交互等多个领域有着重要应用。本课题的研究内容是单目标跟踪,表现形式为在第一帧提供待跟踪的任意单个物体,在接下来的图像序列中,跟踪算法应当准确、实时地预测目标的位置。由于第一帧提供的信息有限,不足以应对后续跟踪场景的复杂性与多变性,同时,跟踪器的速度要满足实时性,这些难点使得视觉目标跟踪一直是一个极具挑战性的任务。如何设计一个
图像融合是将在同一场景下,通过不同传感器获得的图像综合成一幅新的图像,使得融合图像具有更丰富的细节信息,对场景内的所有物体都能够清晰的识别,从而便于后续进一步的图像处理和分析。随着对图像融合领域的深入研究,图像处理的手段越来越丰富。以曲波变换、轮廓波变换、剪切波变换、非下采样剪切波变换(Non-Subsampled Shearlet Transform,NSST)等为例的多尺度变换工具能够对图像进
运动目标检测与跟踪技术作为计算机视觉领域重要研究方向之一,其被广泛应用于智能监控、交通系统和人机交互等多个领域。而在实际的应用场景中,往往存在动态背景、光照变化、遮挡、尺度变化和快速运动等复杂干扰的影响,给运动目标的检测与跟踪产生巨大的困难和挑战。本文针对鬼影及阴影的消除方法、特征融合方法和模型更新策略进行研究,具体研究工作如下:(1)针对视觉背景提取(Visual Background Extr
自旋转移力矩随机磁存储器(STT-MRAM)是一种新型的非易失性存储器,被认为是最具有潜力替代Flash的新型存储器之一,在未来的各行各业均具有广泛的应用前景。本论文针对STT-MRAM外围电路的两个主要组成部分:读电路和写电路,进行了相关的设计与研究。首先,针对深纳米级的STT-MRAM,设计了一种具有动态参考和可变容差的新型读电路,实现了极高的传感裕度(SM)和较小的读取干扰(RD);然后,设