视觉目标跟踪是计算机视觉领域的一项经典研究课题,在视频监控、自动驾驶和人机交互等方面应用广泛。尽管对于目标跟踪的研究取得了很大进展,但单模态信息的局限性和不确定性影响跟踪效果,如可见光成像受光照、雨、烟和霾等环境条件的影响较大,红外成像虽受环境影响小,但其成像机理导致红外图像分辨率较低、纹理少,在热交叉条件下目标与背景难区分等。基于可见光和热红外（RGB/Thermal,RGBT）的双模视觉跟踪器,可以综合利用两种模态内在的信息关联性和互补性,降低单模态信息的局限性和不确定性,提高视觉系统的鲁棒跟踪能力。传统的目标跟踪算法依赖于手工特征,所以算法的性能会受到限制。基于深度学习的目标跟踪算法利用深度神经网络来学习更加鲁棒的特征表示,具有较高的跟踪性能。本文基于深度学习目标跟踪算法,在决策级融合与特征级融合方法上对红外与可见光目标跟踪算法进行研究与改进,主要内容包括以下两个方面:提出一种基于不确定性估计的RGBT决策级融合跟踪算法。在不同场景下,红外与可见光图像的可靠程度不同,本文通过不确定性理论-主观逻辑理论对红外与可见光双模态的不确定性进行建模,作为对红外图像与可见光图像可靠性的度量,并据此确定双模态融合权重,进行跟踪的融合,从而提高跟踪结果的可靠性。算法首先生成目标候选框,通过网络获取每个候选框被判断为目标/非目标的证据,然后引入主观逻辑理论,通过Beta分布来模拟候选框类别概率的分布,并获取包含有双模态不确定性的二项意见,然后融合红外与可见光的意见以获得最终的跟踪目标,提高目标跟踪的性能。此外,本文基于融合证据与目标的运动信息,进行跟踪控制与网络更新,进一步提高跟踪鲁棒性。在RGBT基准数据集上进行实验,证明了所提RGBT跟踪方法的有效性。孪生网络跟踪算法在可见光跟踪任务中取得了较大的进展,具有较高的精度与速度,因而也被应用于RGBT目标跟踪任务中,现有的基于孪生网络的RGBT目标跟踪算法,多采用图像或特征拼接的方式融合双模态的信息,不能够充分挖掘可见光与红外图像的关联和互补信息,且容易造成特征冗余。本文通过自注意力机制,使红外与可见光模态关注到自身对于跟踪有用的信息,并通过跨模态注意力,充分提取红外与可见光关联与互补信息,获取高质量的融合特征。同时,由于孪生网络本身对于干扰物的判别能力较弱,在跟踪目标附近存在相似目标干扰时,容易跟踪失败,本文通过在线分类网络,在线学习目标特征,辅助孪生网络跟踪器,进一步提升跟踪性能。在RGBT跟踪数据集上的实验结果表明,所提的方法能够提升跟踪的准确度与鲁棒性。