近年来,多模态数据目标跟踪成为视觉目标跟踪研究的一个重要分支。受成像原理影响,单模态（可见光）目标跟踪性能容易受环境干扰。而多模态（可见光和热红外）目标跟踪中,热红外通过传感器采集物体温度差异成像,虽然热红外图像的纹理细节等信息不如可见光图像好,但它不受光照等因素干扰。在充分挖掘两种模态特征,并形成两种模态特征高质量互补条件下,多模态数据目标跟踪可以实现更鲁棒的性能。因此,本文利用深度学习强大的特征提取能力,对多模态数据目标跟踪进行了研究,提出了两种在深度学习框架下的多模态数据目标跟踪方法,主要内容如下:（1）针对光照条件差,目标被遮挡等干扰因素,提出了一种基于注意力机制下跨模态交互的多模态数据目标跟踪方法。首先,设计了一个满足多模态数据目标跟踪需求的网络结构,并在算法上继承了多域学习的优点;然后,在网络中引入了一种轻量型的注意力机制,有效降低了噪声的干扰,有利于网络得到高质量的多模态互补特征;最后,提出了一种跨模态层层交互的模块,解决模态间交互不充分的问题。实验结果表明该方法性能优越,尤其在应对光照和遮挡挑战时有出色的效果。（2）针对目标尺度变化这一挑战,整体上实现两种模态特征自适应互相指导学习并抑制噪声的干扰,提出了一种多尺度特征调制的多模态数据目标跟踪方法。首先,在网络中加入了一个多尺度特征模块,生成多尺度特征来克服尺度问题对跟踪的影响;然后,通过对不同模态的多尺度特征进行互相调制,实现两种模态自适应指导学习,增强特征表示能力;最后,考虑到多模态间相互作用时的噪声干扰问题,在模型中引入了双重门控机制,它能有效抑制噪声。实验证明了该方法的有效性。