视觉目标跟踪旨在解决对视频序列中感兴趣目标的持续跟踪问题,其在许多人工智能应用中都扮演着重要的角色,例如智能监控、智能驾驶和智能交互等。虽然近年来视觉目标跟踪在跟踪精度和跟踪速度方面不断突破,但是实现一款准确性高、鲁棒性强、实时性好的通用目标跟踪器依然面临巨大挑战。一方面,稀有的先验信息给目标外观模型的离线训练带来了诸多困难;另一方面,由目标自身因素和环境因素引起的显著的外观改变使得视觉目标跟踪问题变得更加复杂。针对视觉目标跟踪中先验信息稀缺、目标外观多变等挑战,本文从构建鲁棒外观模型的角度出发,深入探索如何充分利用并有效结合跟踪过程中的多种视觉线索和外观信息,如时空上下文信息、多视角信息和长短期记忆信息,进行考虑多元信息的鲁棒视觉跟踪算法研究。本文的主要创新点及贡献包含以下四个方面:（1）为了对抗视频场景中杂乱背景的干扰,本文提出一种结构化上下文感知的视觉跟踪算法。该算法利用时空上下文信息来改善传统结构化稀疏模型的判别性,以此应对相似背景等挑战场景。该算法同时构建局部目标字典和局部上下文字典对目标图像块进行联合稀疏表示,并利用时空上下文信息考虑目标图像块之间的局部外观差异。根据图像块区分目标周围背景上下文的能力,提出影响因子分配策略为不同图像块分配自适应的影响因子。同时引入时间上下文信息来获取更加准确的候选似然分数计算。为了尽可能地获取视频序列中有价值的外观改变而减少背景噪声的干扰,本文提出基于结构化的字典更新机制来实现可靠的模型更新。通过结合时空上下文信息,该算法在OTB-50数据集上获得了75.3%的距离精度和54.6%线下面积分数,实现了较为理想的跟踪结果。（2）为了应对跟踪过程中目标出现的各种显著外观改变,本文提出一种基于多视角学习的视觉跟踪算法。该算法通过融合多种相互补充的特征视角来增加目标外观表达的多样性,以此应对形变及旋转等挑战场景。在目标搜索阶段,提出多视角协同策略联合稳定性衡量和判别性衡量对不同视角进行贡献评估和加权融合。在模型更新阶段,提出记忆增强的在线更新方式并设计动态且独立的学习速率来缓解模型漂移问题。在尺度估计阶段,提出歧义感知的尺度更新机制来减少不可靠的位置估计对尺度估计的不利影响。该算法在OTB-50数据集上获得了82.9%的距离精度和62.9%线下面积分数,实验结果表明该算法实现了良好的跟踪性能。（3）为了缓解模型漂移问题,本文提出一种基于双重记忆选择模型的视觉跟踪算法。该算法通过同时保持目标外观的短期记忆信息和长期记忆信息来平衡外观模型的自适应性和稳定性。所提出的双重记忆选择模型由短期记忆跟踪器、长期记忆跟踪器、记忆评估准则和记忆选择器组成。短期记忆跟踪器强调目标的近期改变,用来应对快速形变视频场景。长期记忆跟踪器保留目标的历史状态,用来处理杂乱背景视频场景。记忆选择器完成长短期记忆信息的有效融合,它根据记忆评估准则自适应地选择擅于处理当前视频场景的记忆跟踪器结果作为最终的输出。此外,引入时间上下文信息来获取更加稳定的目标运动轨迹。该算法在OTB-50数据集上实现了86.5%的距离精度和66.4%线下面积分数。此外,实验结果表明该算法能够显著增强相关滤波类跟踪算法处理形变和杂乱背景挑战因素的能力。（4）为了处理长时目标跟踪问题,本文提出一种基于时空可靠性评估的长时目标跟踪算法。该算法包含相关滤波跟踪器、粗到精重检测器和输出整合器来提供一个鲁棒的长时跟踪框架。所提出的基于时空可靠性评估的长时跟踪框架通过结合时空上下文信息来提供更加准确的重检测输出和可靠性评估。在该框架中,重检测器采用由粗到精的检测策略来改善不可靠的跟踪输出。输出整合器进一步对相关滤波跟踪器和粗到精重检测器的输出可靠性进行仔细评估和有效融合以获取更加准确的目标位置。该算法在OTB-50数据集上实现了87.3%的距离精度和67.1%线下面积分数,实验结果证实了该算法的有效性和优越性。