视觉目标跟踪任务一直以来都是计算机视觉中的热点问题,研究者们始终致力于研究鲁棒的跟踪器来应对现实情况中出现的各种干扰因素,包括:光照变化、形变、快速移动、运动模糊、复杂背景、遮挡以及低分辨率等等。针对这些干扰因素,研究者们通过利用灰度或手工设计的特征来对部分-目标、目标-局部上下文以及目标-背景上下文的关系进行建模。受制于这些简单特征有限的表达能力,基于卷积神经网络的深度特征被引入其中,使得这些方法的性能得到进一步提升。然而,卷积神经网络的本质是学习特征的位移不变性,即只学习特征的存在与否而非特征之间的相对位置关系,从而导致次优的关系建模。近年来,作为卷积神经网络替代者的胶囊网络,依靠其对特征空间关系的建模,已成功应用于图像分类、图像分割以及视频分类等视觉任务。但胶囊网络在目标跟踪任务中的应用仍是空白,如何在目标跟踪任务中发挥胶囊网络的特征关系建模能力需要进一步研究。本文将利用胶囊网络对视频中与目标相关的同质特征（包括部分-目标、目标-局部上下文、目标-背景上下文）和异质特征（视觉与文本）的关系进行建模,主要研究内容包括:（1）针对部分-目标的关系建模,本文提出了基于金字塔密集连接胶囊网络的级联跟踪和分割方法。首先,针对固定的感受野限制了胶囊的编码能力,提出了金字塔密集连接胶囊模块,用于构建不同尺度的部分-目标的空间关系。其次,将该模块扩展到基于检测的跟踪和分割任务,同时生成边界框和类别无关的目标对象分割掩码。最后,针对基于检测的跟踪中候选样本与分类器质量不匹配问题,提出了一种提高候选质量的级联结构,该结构通过级联多个金字塔密集连接胶囊模块来逐级提高候选样本的质量。（2）针对目标-局部上下文的关系建模,本文提出了基于胶囊网络的局部上下文感知的回归跟踪方法。整个回归框架由三部分组成。首先,空间关系胶囊模块用于捕捉目标和局部上下文之间的空间关系。与此同时,时序关系胶囊模块用于提取目标和局部上下文之间的时序关系。最后,通过时空胶囊学习模块学习目标与其局部上下文之间的时空关系并得到目标的响应图。此外,提出了一种先验引导的胶囊路由算法来指导后续帧胶囊的准确分配。针对胶囊网络计算复杂度过高的问题,提出了基于知识蒸馏的姿态矩阵压缩策略,利用更简洁且兼具判别力的姿态矩阵来构建胶囊表示。（3）针对目标-背景上下文的关系建模,本文提出了基于背景修复和胶囊网络的跟踪方法。针对单一外观模型无法应对目标复杂多变且难以预测的外观变化,提出以背景上下文信息为主并辅以目标信息的跟踪策略。设计了一种基于胶囊的跟踪方法,用于构建目标-背景上下文的关系,其中包括一个背景修复网络和目标感知网络。背景修复网络利用多帧的场景来恢复目标区域的背景信息,目标感知网络只关注目标本身,并以胶囊编码背景和目标表示来捕捉场景中各物体与目标之间的空间关系。此外,设计了一个融合多域信息的背景-目标路由算法来提高模型对于干扰物的鲁棒性。（4）针对视觉-文本的关系建模,本文提出了一种以胶囊网络为基础,结合自然语言查询的跟踪方法。在以往的工作中,主要通过简单的动态卷积滤波器来建模视觉和语言两种异质特征的关系。然而,自然语言的语言变异使得动态卷积难以对动态变化的目标及其上下文进行有效建模。同时,应重视以查询为关注点的视觉上下文区域,进而促进视觉信息与语言信息的交互。根据以上分析,提出了一种基于胶囊的跟踪网络,并结合自然语言查询来进行目标的定位。首先,视觉和文本的输入通过胶囊编码。之后,设计了两个路由模块,包括视觉-文本路由模块和文本-视觉路由模块,在减少文本查询的语言变异的同时,引导视觉分支关注文本查询关注的目标上下文区域。