作为计算机视觉的一项基本任务,目标跟踪是热门的研究领域之一。其中,可见光目标跟踪在自动驾驶、增强现实和自主机器人等方面有着重要的应用价值,而热红外目标跟踪由于不受光照的影响,可以用于实现夜间监视、夜间辅助驾驶等。在目前的跟踪领域中,孪生系列跟踪网络可以有效地平衡精度和速度,但是在面对复杂多变的跟踪场景时仍然有较大的局限。首先,现有的孪生跟踪器大多只考虑第一帧的特征,难以从帧间信息中获益。当遇到遮挡或快速运动等挑战时,最新运动信息的缺乏会导致跟踪器性能的降低。其次,红外图像中只存在亮度分量信息,缺少色彩信息,易受相似目标和杂乱背景的干扰。针对以上问题,本文围绕孪生网络在目标跟踪中的应用,对可见光目标跟踪和热红外目标跟踪进行了算法优化研究,主要贡献点如下:(1)提出了基于时空卷积和孪生网络的实时目标跟踪算法。本文探索了最新的连续帧中丰富的信息对初始模板帧的特征表示的改进。具体来说,本文使用经过时空卷积后的最新多帧的特征生成注意力图,然后将该注意图和第一帧的特征进行相乘以获得更新后的模板。利用注意力图,模板可以自适应地应对目标的遮挡和变形等。模型中所有帧的空间卷积是共享的,因此特征结果可以复用,新增的更新模块几乎不增加跟踪耗时。该模块可以嵌入到不同的孪生追踪器中。(2)提出了基于频域变换和特征选择的红外目标跟踪算法。为了加快红外跟踪速度,本文对红外图像亮度通道进行了离散余弦变换,然后在频域中进行特征提取。通过减少部分卷积层和池化层,频域深度学习可以在不降低模型性能的情况下有效提高模型的跟踪速度。同时本文引入模板帧对搜索帧的特征加权系数,突出目标,抑制背景。此外,针对红外模型训练集规模较小的问题,提出了一种基于灰度化的便捷易用的数据扩增方案用于模型预训练,有效地提升了模型的训练效果。本文在可见光跟踪和热红外跟踪对应的权威数据集上进行了大量的模块有效性分析、属性分析、定性分析等实验,验证了本文提出的跟踪算法的有效性。在保证实时性的同时,本文提出的两个改进算法对比基线算法在性能上都有所提高。