基于注意力机制的视觉目标跟踪方法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:liongliong541
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视觉目标跟踪是计算机视觉领域中一个重要研究方向,在智能监控、人机交互、自动驾驶等领域具有广泛应用价值。仅给定一段视频中任意目标的初始位置和大小,目标跟踪需要在不利用其他先验信息条件下持续估计目标的后续状态。目标形变、遮挡、光照变化、背景干扰等因素对目标跟踪算法的准确性、鲁棒性以及实时性提出了极高要求。在复杂环境下的目标跟踪问题是一个充满理论挑战性和实践挑战性的问题。注意力机制是人类有效过滤信息的方式之一。人类通常有选择性地处理人眼接收到的大量视觉信息,从而提高资源处理效率。注意力机制可以帮助视觉模型有选择性的利用信息,引导视觉系统关注感兴趣的区域。目标跟踪中信息主要由图像特征表示,其中既包含与目标有关的有用信息,也包含对目标造成干扰的有害信息或与目标无关的无用信息,有效地挖掘利用特征中有用信息对于提高目标跟踪性能至关重要。本文针对目标跟踪中的特征利用和学习问题,在利用注意力机制提高特征的利用效率和表征能力方面开展了以下四个研究内容:(1)提出基于空间注意力的特征时空自适应加权跟踪方法,解决跟踪模型容易受到背景影响产生漂移的问题。该方法将模型注意力集中于目标,通过结合由颜色直方图模型构建的目标似然图和由像素位置与目标中心的距离信息构建的先验权重,构建了时空自适应变化的特征权重。通过在相关滤波跟踪框架中引入时空自适应权重,跟踪模型能够有效利用目标信息,削弱背景信息的影响,提高特征的利用效率。通过引入伪滤波器变量保留相关滤波样本矩阵的循环特性,该方法对加入权重的相关滤波损失函数进行了高效优化。实验结果表明,构建的自适应权重能有效提高相关滤波方法性能,降低跟踪模型漂移的可能性。(2)提出基于通道注意力的特征通道可靠性与滤波器系数联合学习跟踪方法,解决跟踪时不同特征通道没有被区分性利用,影响模型判别性的问题。该方法将模型注意力集中于可靠特征通道,为每个通道赋予可靠性权重,将其作为可学习变量引入到相关滤波模型中,并根据历史跟踪结果构建先验权重作为当前通道权重的约束,与滤波器系数进行联合学习。联合学习模型采用交替迭代优化两个变量的方式进行求解,在解决通道权重学习的子问题时,方法通过证明损失函数的上界对其进行高效优化。联合学习的方式使得模型在训练时有效利用可靠通道的信息,削弱不可靠通道的影响,提高特征利用效率。最终学习得到的模型更具判别性,学习得到的通道权重能更有效地对跟踪时通道响应结果进行加权。实验结果表明,提出的联合学习模型能自适应调整不同通道的贡献,能在不显著增加计算量的前提下提高相关滤波方法的性能。(3)提出基于特征相关结果引导注意力的目标框角点检测跟踪方法,解决基于目标框角点检测的跟踪方法会产生角点定位歧义,且难以有效挖掘利用目标模板和目标搜索区域关系来增强检测准确性的问题。该方法采用两阶段结构,第一阶段利用轻量孪生网络模型进行粗略目标框估计,缩小第二阶段目标框角点检测模块的搜索区域。在第二阶段中角点检测前,模板与搜索区域特征在像素层面相关结果引导的空间注意力模型和通道层面相关结果引导的通道注意力模型分别以不同的方式挖掘模板和搜索区域的关系,增强特征中目标框角点的空间信息和对不同目标框角点的判别能力,从而提高特征表征能力。实验结果表明,提出的方法能够有效定位目标框的角点,通过目标框角点检测获得了准确的目标框估计。(4)提出基于双重注意力的目标框边界检测跟踪方法,在跟踪中通过预测目标框边界得到目标框,解决常用目标框回归方法难以准确估计目标框的问题。该方法在目标框角点检测方法中第一阶段轻量孪生网络粗略估计目标框的基础上,在第二阶段针对目标矩形框每个边界学习一个特征,通过直接估计边界位置的方法得到准确目标框。为了更好地检测目标框边界,提出了模板融合模块和双重注意力模型。模板融合模块将模板与搜索区域特征在像素层面的相关结果作为额外特征,引入目标轮廓信息,增强对目标边界的判别性。双重注意力模型包含目标感知和边界感知的注意力模块。目标感知的注意力模块对目标区域进行增强,提高目标和背景的区分性;边界感知的注意力模块学习边界的空间信息,对目标框边界区域进行增强。双重注意力模型通过不同方式调整模型关注区域,提高了用于边界检测特征的表征能力。实验结果表明,提出的模板融合模块和双重注意力模型能够增强目标框边界检测性能,提出的跟踪方法通过目标框边界检测得到准确的目标框估计,取得先进的跟踪性能。最后本文将提出的方法在开放环境中进行了应用验证。为了应对实际跟踪环境的挑战,提高模型对开放环境的适应性和实用性,本文利用相关滤波判别性强与孪生网络跟踪可拓展性强的优点,将目标框角点检测方法和目标框边界检测方法中第一阶段的孪生网络与近似相关滤波的在线分类模块相结合,弥补孪生网络容易受到相似目标影响的缺点,增强了鲁棒性和适应性,同时保留了目标框角点检测和目标框边界检测准确率高的特点。结合后的两个方法具有高准确性、高鲁棒性、实时性,能够更好地进行应用。在安全监控视频中的跟踪实验表明,两个方法能够有效应对开放环境下存在的挑战,进行准确、鲁棒、实时的跟踪。本文针对目标跟踪中存在的特征利用和学习问题,根据不同问题构建不同的注意力模型。研究从特征利用深入到特征学习,从注意力在相关滤波框架中的表示深入到注意力在深度网络中的学习,利用注意力机制提高了特征的利用效率和表征能力,有效提升了目标跟踪的性能。
其他文献
借氢反应也称氢的自动转移,是一种在过渡金属催化剂的作用下通过构建C-C和C-N键一步合成更复杂的分子的新途径。借氢反应是一个串联的过程,它一般经历了如下过程:醇在碱的作用下脱氢,生成的羰基化合物与胺或亲核碳试剂缩合,生成不饱和的中间体发生氢化作用得到最终产物。由于借氢反应使用易于处理的、可再生的、廉价的醇类作为烷基化剂,相对于传统的合成方法具有更高的合成效率和原子经济性,并且水是唯一的副产物,因此
随着微电子技术的不断更迭与产业发展的迫切要求,电力电子器件正在朝着高频化、高度集成化和高度智能化的方向发展。尤其在部分应用领域,电力电子器件需要面临高温、强辐射、高电流密度等苛刻的服役环境。这对器件中功率芯片的封装技术带来了巨大挑战。目前高温功率芯片封装的解决方案中,低温烧结银技术是最具前景的封装方式。由于尺寸效应,纳米或微米银颗粒可以在远低于块体银熔点的温度下实现冶金接合与组织致密化。银颗粒烧结
城市路网交通运行状态的全面及时准确获取,是进行城市路网状态评价,分析城市路网运行效率,制定精细化交通管控措施的基础,同时也是智能交通系统的重要组成部分。以地磁线圈、微波等检测技术为代表的固定检测器,由于安装和维护费用较高,只能覆盖部分路网,无法实现对城市路网运行状态的全面获取。近些年来,随着GPS(Global Positioning System)的广泛应用和LBS(Location-based
电网公司大集体企业具有鲜明的电力系统色彩:主营业务围绕输配电产业链展开,主要以电网建设运维、电工设备制造、综合服务为主,对电网主业具有支撑和保障作用。电网公司大集体企业优点是企业经营情况稳定,信誉、规模、资质、技术、服务等方面在同类企业中具备竞争优势,部分企业效益良好。但同时也存在数量多、规模小、同质化严重、对主业依赖性较强等问题。"一刀切"地推动改革将带来生产经营、员工队伍稳定等一系列经济
期刊
分数阶微分方程被广泛用于描述具有记忆和遗传性质的复杂动力学问题。但由于分数阶微分算子的非局部结构,只有极少数简单的分数阶微分方程能够用解析方法求解。这使得分数阶微分方程的数值求解成为紧迫且重要的研究课题。本文将致力于构造Riesz型空间分数阶及分布阶扩散方程的高阶数值方法,并给出这些方法的稳定性和收敛性的理论分析。本文的主要内容包括以下四个部分:构造了线性Riesz型空间分数阶扩散方程的一类在时间
健康的城市生活环境是个人与社会的共同追求,同时也是城市公共开放空间研究中的重点。城市声环境与城市居民的生产生活息息相关,在生理和心理等方面都给人们带来了极大的影响。随着声景领域研究的不断深入,单纯考虑声音的吵闹程度已不足以描述声音中的所有特征。正因如此,声景研究不仅关注负面声源的影响,更多的是研究人在声环境中的感知,进而考虑正面的声音对人体的积极作用。探求声景对人的生理影响是连接声景与健康之间的桥
基于复杂网络的传播模型,其动力学特征得到了专家学者的广泛关注。节点和连边作为复杂网络的基本要素,是构成网络框架的低阶结构单元,为此,本文首先对网络的节点和连边的重要性特征展开研究,得到了可以刻画节点的传播能力与感染能力的重要性指标以及促进网络传播的最优边结构,对根据特定动力学特征重构复杂网络的反问题研究具有重要意义,为网络传播的分析与控制提供重要参考。值得注意的是,在日常的交流与传播中,两两之间的
人类社会面临着淡水资源短缺的严峻问题,脱盐技术已逐渐成为水处理领域获取净水的重要手段之一。传统能源驱动的脱盐技术如热法驱动和膜法驱动的脱盐处理过程中存在着对化石能源的高消耗并且对环境产生污染等缺点。与传统能源相比,太阳能作为一种绿色可持续发展的资源,可以为脱盐水处理技术提供新型的能量来源。本论文基于界面加热技术通过新型光热蒸发体系的构建实现了太阳能直接驱动蒸发脱盐的盐结晶污染问题的解决和蒸发效能的
光学可调控的形状记忆高分子(SMP)材料能在特定的刺激条件下实现对光学性能的响应性调节,在信息传递、生物传感和微光学器件等领域具有重要的应用前景。目前,对此种类型的SMP材料的研究主要集中在两个方面。一种方法是通过调节材料本身具有的响应性化学发光组分来实现对光学性能的控制。另一种方法则是通过改变SMP的微观结构来实现对光学性能的调控。然而,在现有的光学可调控的SMP材料体系中,形状记忆性能和光学性
原子力显微镜(Atomic Force Microscopy,AFM)在各相环境中对不同材料成像时具有的高分辨率、非破坏性、灵活性以及多功能性,使其成为纳米级表征和测量的最流行的科学仪器之一,广泛应用于物理、化学、材料、生物、医学、纳米科学等领域,并服务于半导体、航天、制造、能源等行业。尽管AFM具有广泛的适用性,但传统AFM的高分辨率成像通常需要花费几分钟的时间,严重制约了AFM的成像效率。本文