目标跟踪技术是计算机视觉领域的一个研究热点,有着重要的研究意义,在视频监控和无人驾驶等许多领域都有着广泛的应用前景。尽管目标跟踪技术已经取得了较大的进展,但由于跟踪任务的复杂多变,存在很多如遮挡、背景干扰和外观变化等影响跟踪算法性能的因素,设计一个精确度高、实时性好且鲁棒的跟踪算法仍然是一个巨大的挑战。近年来基于孪生神经网络的跟踪算法发展迅速,在VOT等挑战赛中取得了不错的成绩,这些算法具有实时性好的优势,但是其泛化性能较差,鲁棒性不强,当目标外观出现大的变化时会使算法的跟踪性能变差。针对上述问题,本文在孪生神经网络的基础上引入了长短时记忆网络(LSTM),重点研究了跟踪算法的特征学习、相似性度量、模型更新以及网络训练。本文主要工作总结如下:(1)提出了基于鲁棒特征表示的孪生神经网络跟踪算法(SMT)。该算法通过相似度度量的方法来匹配目标对象和候选区域,在孪生网络的基础上增加区域提出层来生成候选区域,卷积层使用特征提取能力更强的VGG网络,利用层次化的特征让目标对象有丰富的特征表示,同时增加长短时记忆层来用于跟踪,并在模板更新时引入置信决策方法。长短时记忆层的作用在于通过其内部结构的记忆单元和门机制来存储和更新特征信息,使得获得的特征向量鲁棒性更强。实验结果表明提出的算法在快速运动、背景干扰、运动模糊、旋转变化和尺度变化等多个属性下与其他8个具有代表性的跟踪算法相比具有更好的鲁棒性和精确度。(2)提出了基于联合外观和运动信息的孪生神经网络实时跟踪算法(SMT-R),网络结构分为包含目标外观信息的卷积层、保存和更新运动信息的长短时记忆层和输出目标位置坐标的回归层。该算法在卷积层中提取目标外观信息,并通过将运动信息合并到网络模型中,使得跟踪算法能够修改目标模型并适应新的对象,在长短时记忆网络中记忆单元是在前向传播的过程中更新的,使网络可以不断接受当前的信息并进行快速的信息更新,从而能够在跟踪过程中通过长短时记忆网络学习和更新目标对象的运动特征,避免了在跟踪过程中进行反向传播,减少了跟踪过程中的计算量,从而提升运行速度,使其可以应用于实际的生活场景。实验表明,提出的算法能够以实时的速度运行,并且具有良好的跟踪精确度。