论文部分内容阅读
视觉目标跟踪是计算机视觉领域中一个重要研究方向,在智能监控、人机交互、自动驾驶等领域具有广泛应用价值。仅给定一段视频中任意目标的初始位置和大小,目标跟踪需要在不利用其他先验信息条件下持续估计目标的后续状态。目标形变、遮挡、光照变化、背景干扰等因素对目标跟踪算法的准确性、鲁棒性以及实时性提出了极高要求。在复杂环境下的目标跟踪问题是一个充满理论挑战性和实践挑战性的问题。注意力机制是人类有效过滤信息的方式之一。人类通常有选择性地处理人眼接收到的大量视觉信息,从而提高资源处理效率。注意力机制可以帮助视觉模型有选择性的利用信息,引导视觉系统关注感兴趣的区域。目标跟踪中信息主要由图像特征表示,其中既包含与目标有关的有用信息,也包含对目标造成干扰的有害信息或与目标无关的无用信息,有效地挖掘利用特征中有用信息对于提高目标跟踪性能至关重要。本文针对目标跟踪中的特征利用和学习问题,在利用注意力机制提高特征的利用效率和表征能力方面开展了以下四个研究内容:(1)提出基于空间注意力的特征时空自适应加权跟踪方法,解决跟踪模型容易受到背景影响产生漂移的问题。该方法将模型注意力集中于目标,通过结合由颜色直方图模型构建的目标似然图和由像素位置与目标中心的距离信息构建的先验权重,构建了时空自适应变化的特征权重。通过在相关滤波跟踪框架中引入时空自适应权重,跟踪模型能够有效利用目标信息,削弱背景信息的影响,提高特征的利用效率。通过引入伪滤波器变量保留相关滤波样本矩阵的循环特性,该方法对加入权重的相关滤波损失函数进行了高效优化。实验结果表明,构建的自适应权重能有效提高相关滤波方法性能,降低跟踪模型漂移的可能性。(2)提出基于通道注意力的特征通道可靠性与滤波器系数联合学习跟踪方法,解决跟踪时不同特征通道没有被区分性利用,影响模型判别性的问题。该方法将模型注意力集中于可靠特征通道,为每个通道赋予可靠性权重,将其作为可学习变量引入到相关滤波模型中,并根据历史跟踪结果构建先验权重作为当前通道权重的约束,与滤波器系数进行联合学习。联合学习模型采用交替迭代优化两个变量的方式进行求解,在解决通道权重学习的子问题时,方法通过证明损失函数的上界对其进行高效优化。联合学习的方式使得模型在训练时有效利用可靠通道的信息,削弱不可靠通道的影响,提高特征利用效率。最终学习得到的模型更具判别性,学习得到的通道权重能更有效地对跟踪时通道响应结果进行加权。实验结果表明,提出的联合学习模型能自适应调整不同通道的贡献,能在不显著增加计算量的前提下提高相关滤波方法的性能。(3)提出基于特征相关结果引导注意力的目标框角点检测跟踪方法,解决基于目标框角点检测的跟踪方法会产生角点定位歧义,且难以有效挖掘利用目标模板和目标搜索区域关系来增强检测准确性的问题。该方法采用两阶段结构,第一阶段利用轻量孪生网络模型进行粗略目标框估计,缩小第二阶段目标框角点检测模块的搜索区域。在第二阶段中角点检测前,模板与搜索区域特征在像素层面相关结果引导的空间注意力模型和通道层面相关结果引导的通道注意力模型分别以不同的方式挖掘模板和搜索区域的关系,增强特征中目标框角点的空间信息和对不同目标框角点的判别能力,从而提高特征表征能力。实验结果表明,提出的方法能够有效定位目标框的角点,通过目标框角点检测获得了准确的目标框估计。(4)提出基于双重注意力的目标框边界检测跟踪方法,在跟踪中通过预测目标框边界得到目标框,解决常用目标框回归方法难以准确估计目标框的问题。该方法在目标框角点检测方法中第一阶段轻量孪生网络粗略估计目标框的基础上,在第二阶段针对目标矩形框每个边界学习一个特征,通过直接估计边界位置的方法得到准确目标框。为了更好地检测目标框边界,提出了模板融合模块和双重注意力模型。模板融合模块将模板与搜索区域特征在像素层面的相关结果作为额外特征,引入目标轮廓信息,增强对目标边界的判别性。双重注意力模型包含目标感知和边界感知的注意力模块。目标感知的注意力模块对目标区域进行增强,提高目标和背景的区分性;边界感知的注意力模块学习边界的空间信息,对目标框边界区域进行增强。双重注意力模型通过不同方式调整模型关注区域,提高了用于边界检测特征的表征能力。实验结果表明,提出的模板融合模块和双重注意力模型能够增强目标框边界检测性能,提出的跟踪方法通过目标框边界检测得到准确的目标框估计,取得先进的跟踪性能。最后本文将提出的方法在开放环境中进行了应用验证。为了应对实际跟踪环境的挑战,提高模型对开放环境的适应性和实用性,本文利用相关滤波判别性强与孪生网络跟踪可拓展性强的优点,将目标框角点检测方法和目标框边界检测方法中第一阶段的孪生网络与近似相关滤波的在线分类模块相结合,弥补孪生网络容易受到相似目标影响的缺点,增强了鲁棒性和适应性,同时保留了目标框角点检测和目标框边界检测准确率高的特点。结合后的两个方法具有高准确性、高鲁棒性、实时性,能够更好地进行应用。在安全监控视频中的跟踪实验表明,两个方法能够有效应对开放环境下存在的挑战,进行准确、鲁棒、实时的跟踪。本文针对目标跟踪中存在的特征利用和学习问题,根据不同问题构建不同的注意力模型。研究从特征利用深入到特征学习,从注意力在相关滤波框架中的表示深入到注意力在深度网络中的学习,利用注意力机制提高了特征的利用效率和表征能力,有效提升了目标跟踪的性能。