计算机科学技术的高速发展带动了计算机视觉领域的革新,人类对机器学习和人工智能的需求日益增加,这使得视觉目标跟踪成为了当前研究的热门课题。在无人驾驶、安防、人机交互、导航和制导等民事和军事应用领域,视觉目标跟踪扮演着举足轻重的角色。经过了几十年的发展,当前的目标跟踪算法依然面临着来自外部环境和目标自身的具有挑战性的干扰因素,如背景杂乱、遮挡、低照度、尺度变化、形变、运动模糊和快速运动等,它们严重制约着其发展。本文通过研究不同模态的数据之间的互补特性,结合不同跟踪方法的优缺点分析,提出了一种基于“检测跟踪模型”的多模态数据融合跟踪算法。该算法采用红外和可见光图像中目标的全局/局部的多种特征,能够应对当前目标跟踪领域所面临的多种复杂干扰。首先,本文算法设计了两个跟踪模块:基于统计模型的跟踪模块(HIST模块)和基于相关滤波的跟踪模块(CFT模块)。其中,HIST模块采用具有全局统计特性的RGB颜色直方图作为跟踪特征,结合贝叶斯准则设计了一种目标/背景区分算子用于区分目标和干扰物,是一种生成式和判别式的混合跟踪模块。该模块引入了积分图策略,以实现基于检测跟踪模型的改进,得到可与CFT模块的跟踪结果相融合的改进模块。而CFT模块基于KCF跟踪原理,采用了多种特征(HOG、CN、图像强度)进行跟踪任务,是一种判别式跟踪模型,本文基于检测跟踪模型对该模块进行了改进,并设计了一种去噪融合规则来融合由多种特征得到的响应函数。其次,本文基于KL距离提出了一种可靠性度量规则来度量上述两个跟踪模块的输出结果的可靠性。根据度量结果,本文还设计了一种决策级的自适应融合策略来融合上述跟踪模块的输出以得到最终跟踪结果。最后,利用国际评估准则VOT benchmark和红外-可见光公开数据集RGB-T234中的48组视频序列,本文设计了充分的实验,与包含基于单模态和多模态跟踪的10种先进的主流算法进行了对比分析。从定量分析、基于序列属性的分析和定性分析三个方面给出了最终的分析结果。实验表明,本文设计的基于多模态数据的融合跟踪算法在背景杂乱、遮挡、低照度、形变和尺度变化、运动模糊等多种复杂干扰因素下实现了精确、鲁棒的跟踪,证明本文算法在理论创新和实际应用上都具有重要的意义和价值。