近年来,随着计算机硬件性能的不断提升,视觉目标跟踪在安全监控、工业制造、自动驾驶等领域取得了亮眼的成绩。正是由于视觉目标跟踪算法的发展空间巨大,因此对视觉目标跟踪算法的鲁棒性提出了更高的要求。相较于单目视觉跟踪,双目跟踪算法由于其具有天然的三维感知特性,因此有着更广阔的的应用前景。但是现阶段双目跟踪算法的空间鲁棒性问题亟待解决。与此同时,对抗样本的出现对基于深度学习的目标跟踪算法提出新的挑战,算法的安全性问题有待解决。本文将从空间与对抗样本两个方面切入,提升目标跟踪算法的鲁棒性,研究具有实际应用价值。（1）本文首先在KITTI数据集的基础上,构建课题研究所需的二维双目数据集Bino KITTI。设计了三维数据标注算法和点云数据标注算法两种算法实现数据集的自动标注,减轻了人工手动标注数据的主观性与巨大工作量,提供了可靠的训练与测试数据集。（2）本文随后在孪生网络的经典目标跟踪算法Siam FC基础上,搭建了伪双目视觉目标跟踪算法,利用Bino KITTI测试集验证了伪双目视觉目标跟踪算法的左右目跟踪结果存在较大差异的问题。在此基础上,利用同一时刻双目目标特征高度相近的特点设计并搭建了双目视觉目标跟踪算法框架,提出了双目视觉目标跟踪算法的评价指标——双目期望平均覆盖率和空间鲁棒量。本文提出的双目视觉目标跟踪算法在整体跟踪结果上提升5.0%,跟踪空间鲁棒量从0.030降为0.011,验证了双目视觉目标跟踪算法对于空间鲁棒性的改善作用。（3）本文最后引入了一种基于梯度的迭代式白盒对抗样本攻击算法,模拟对抗样本对视觉目标跟踪算法的攻击,将目标跟踪评价指标期望平均覆盖率降低了65.8%,验证了对抗样本攻击方法的有效性。在该对抗样本攻击的基础上,本文进一步设计并实现了一种反梯度迭代式的对抗样本防御算法,将目标跟踪在测试集上的评价指标提升至攻击前93.4%,有效的削弱了对抗样本对跟踪器的干扰,提升了视觉目标跟踪算法的对抗鲁棒性。