多模态目标跟踪的提出是为了利用可见光和红外数据的互补优势来实现成对视频序列的目标定位任务。但是多模态的跟踪起源偏晚并且需要成对匹配的信息,而成对数据的获取受制于专业的成像设备和高昂的人工标注成本,现有数据集规模相比于可见光较小且数据多样性匮乏。此外,可见光-红外数据在不同的挑战下并非都同时发挥正面作用,如何充分利用两种模态的优点并同时抑制噪声成为急需解决的问题,受最近元学习研究的启发,本文基于元学习的核心思想在可见光红外中尝试仅使用少量数据以获取更快更准更鲁棒的目标跟踪模型。本文就如何将元学习应用在可见光-红外目标跟踪上展开相关研究,主要工作包含以下两个方面:第一是基于模型无关元学习的可见光-红外目标跟踪。现有目标跟踪方法普遍存在的两个核心问题:1)初始帧中采集的样本目标和背景高度相似,信息高度冗余。2)跟踪器要么花费大量时间用于初始阶段训练,或者使用不完全训练模型致使跟踪性能严重受损。元学习作为小样本学习的强有力方法,缓解了传统深度学习的从头开始学习对算力和时间的消耗问题,能够在第一帧中快速自适应得到鲁棒的模型。具体为,在元训练阶段,对数据集以任务的形式来划分以及对其使用模型无关元学习的训练方式来优化网络,得到一个通用的网络初始表示使目标模型能够专注于对未来帧有用的特征,仅需要一次迭代即可适应不同视频序列,在大幅缩短耗时的同时避免使用复杂的训练方法和架构设计以及原始跟踪器的超参数选择。第二是基于黑盒元学习的可见光-红外目标跟踪。如何利用海量的可见光数据促进可见光-红外跟踪网络模型的学习是一个具有挑战性的问题。因此设计了一种基于元学习的模态知识转移网络,该网络利用来自可见光模态分支的参数化先验知识来指导热模态分支学习。具体来说,本文设计了一种新的元学习模块,以可见光模态分支的卷积参数为输入,生成一组参数来辅助热模态分支的训练。利用元学习模块,热分支可以利用生成参数的梯度信息对原始参数进行优化。到目前为止,这是第一个采用元学习技术传递可见光跟踪器的知识来帮助可见光-红外跟踪器,而无需显式生成形态数据。