视觉跟踪是计算机视觉中最基本的问题之一，在多媒体领域中有着广泛的应用需求，比如监视、车辆导航、人机交互等等。近年来，随着深度学习及其相应硬件条件的发展，单目标视觉跟踪任务得到了计算机视觉领域很高的关注并取得了突破性的研究进展。然而，目前的研究大多忽略了跟踪任务的时序关系这一性质，相关主流方法仅仅将其建模成单帧的相似度匹配问题或二分类问题。时序关系作为视频类计算机视觉任务的基本特性，其所蕴含的信息应被相关任务充分利用。从这一观察出发，本文给出了两种基于时序关系的解决方案。本文具体研究内容包括:　　首先，在逐帧检测跟踪(tracking-by-detection)框架下，研究如何将时序连续性引入到单目标视觉跟踪领域。现有主流算法忽略了时序连续性这一特性。受神经认知科学领域所提出的时序缓慢(temporal slowness)概念的启发，本文提出了适合视觉跟踪问题的等价物——时序表观连续性。具体地，本文给出其严谨的数学定义及其性质，利用该性质从理论层面上分析目标表，观表示预测误差的上界。另一方面，针对物体性，本文提出物体中心的概念，研究如何利用该概念提升跟踪器对物体性的敏感程度。最后，研究如何将时序表观连续性和物体中心判别有效融合到同一个模型下，使模型在具备很强物体性判别能力的同时，能够刻画时序连续性这一基本特性。实验方面，本文在在两个主流标准评测集上面对所提出的算法进行评估。实验结果表明，该方法相比于当前最先进(state-of-the-art)的方法在跟踪性能方面具备很强的竞争力。　　第二，在逐帧检测跟踪（tracking-by-detection）框架下，本文研究如何将目标在时序上的隐状态表达学习引入跟踪领域，尝试将目标与所在场景之间复杂的运动模式建模成时序隐状态学习，进而刻画帧间目标在一定背景下的时序关系。此外，为了应对这种建模方式所带来的场景多域学习不一致的问题，本文探究了多域(Multi-Domain)的离线训练方式。在标准评测集上评估的实验结果表明了时序隐状态学习的有效性和多域学习的必要性。