视觉跟踪是计算机视觉领域的一个重要研究方向,现在已经广泛用于军事、医疗、机器人、智能交通等领域。近年来,深度学习技术获得了极大的突破,深度神经网络强大的学习能力为视觉跟踪提供了一种新的研究思路,使得跟踪器具有更高的准确率。研究基于深度学习的视觉跟踪算法具有重要的理论价值和现实意义。基于深度学习的跟踪器取得了巨大的成功,极大的提高了跟踪器的性能。但是由于深度神经网络涉及到复杂且庞大的计算,跟踪器的实时性很难得到保证。本文基于孪生网络Siam-FC研究视觉跟踪算法,Siam-FC由两个完全相同的子网络分支组成,其结构简单、性能突出,具有实时跟踪的潜能。然而Siam-FC算法无法处理目标模板中存在噪音情况。具体而言,在噪音环境下,将目标模板的特征图与搜索区域特征图进行全卷积操作时,得到的响应图中可能存在多个极大值,使得跟踪器极度不稳定。本文通过设计两种新颖的网络架构,强化目标区域的响应,抑制噪声区域的响应,从而提高视觉跟踪算法在复杂视觉场景下的跟踪性能:1、跨层对比孪生网络(Siamese of Cross Layer Contrastive Loss,Siam-CC)。Siam-CC网络探索不同深度网络层的特征性质,对不同层特征与特定层特征进行全卷积操作,从而采用最合适的目标区域的特征去探索不同深度的搜索区域的特征。为了利用搜索区域更深层的特征,Siam-CC设计了非对称的孪生网络架构,在搜索区域的分支的尾部加入新的网络层。另外,为增强对有效候选框和无效候选框的判别,Siam-CC提出了自适应对比损失函数。实验结果表明,与原始的Siam-FC相比,Siam-CC在benchmark上的跟踪结果得到了较大提升。2、多域残差孪生网络(Multi-Domain Residual Siamese Network,MDR-Siam)。MDR-Siam网络利用残差块过滤响应图中的干扰响应点,并通过组归一化方法改进残差块的结构,使过滤效果更适合视觉跟踪任务。在此基础上MDR-Siam利用多域的方法将残差块设计为多个独立的域,使得特定的域仅负责处理特定的视频。同时,目标模板将不同背景噪声进行自适应的过滤预处理,根据模板中目标的长宽比例自适应地弱化目标模板的背景噪声,减小匹配过程中的干扰。在OTB-50的实验结果表明MDR-Siam比Siam-FC在跟踪精确度上有了一定的提升。