论文部分内容阅读
视频跟踪作为计算机视觉中最富有挑战性的问题之一,在智能视频监控、新型人机交互和增强现实等方面都有关键的应用。经过几十年的研究,视频跟踪技术有了长足的发展,出现了一系列的经典算法。近年来,基于稠密采样和循环矩阵理论的相关滤波跟踪算法凭借其运行速度快、跟踪精度高的特点引起了广泛关注。这一算法借助于循环矩阵本身的性质,通过快速傅里叶变换将时域上的操作映射至频域上快速完成。尽管相关滤波跟踪及其衍生算法目前在各种跟踪器的性能排名中名列前茅,但其依然存在若干不足之处。首先,它无法同时使用多种核,这意味着它不能有效利用多种特征中互补的信息;其次,其独特的采样方式会产生边界效应,导致无法对整个搜索区域都进行有效的搜索;第三,当目标丢失后,没有可靠的将目标重新找回的方法。 本文针对以上问题对相关滤波跟踪算法进行了延伸和扩展。主要贡献有: 1.针对相关滤波跟踪算法中无法同时使用多种核的问题,本文提出了一种全新的多核岭回归模型。利用该模型,我们设计了多核相关滤波跟踪算法MKCF(Multi-kernel Correlation Filters),该算法可以充分利用不同特征的不变性判别功率谱,增加跟踪的鲁棒性。MKCF保留了相关滤波中的循环结构,模型的训练依然可以用快速傅里叶变换映射至频域上快速进行,在有效提升跟踪性能的同时保证了算法运行效率。 2.本文提出了一种新的基于最优化技术的尺度检测方案。与传统的在离散尺度空间上遍历的方案不同,本文的方案在连续的尺度空间上利用最优化技术快速搜索目标的精确尺度,完全避免了图像金字塔的构建,并且只需要用到很少的几个尺度层。不仅如此,该尺度检测方案具有良好的通用性,可以很简便地整合到原本没有考虑尺度问题的跟踪算法中去。 3.为了缓解相关滤波跟踪算法中的边界效应对跟踪的不利影响,本文提出了一种基于多模板的跟踪方案:训练一对尺寸不同的MKCF模板,并在检测阶段首先由大模板确定目标的可疑位置、然后用小模板对可疑位置逐一检测确认。通过适当调节模板尺寸和更新方式,这种大小模板配合的方式还可以实现目标丢失后的重新捕获。这种多模板的MKCF算法被称为MMKCF(MultipleMulti-kernel Correlation Filters)。实验证明MMKCF算法性能优于当前其他各种代表性的跟踪算法,且能达到几乎实时的速度。 4.在MMKCF的基础上,本文将卷积神经网络中的深度卷积特征应用其中,并根据深度卷积特征本身的特性对其中的多核学习方案进行了有针对性的调整。实验证明,应用深度卷积特征的deepMMKCF在测试集和各种困难场景上的表现都明显超过了当前各种无跟踪数据集预训练的算法。