目标跟踪的场景往往是复杂多变的,在目标遮挡、光照变化、尺度变化等复杂场景下,目标容易在跟踪过程中丢失,这些场景下的跟踪任务对于目标跟踪算法来说是一个极大的挑战,因此研究出更为鲁棒的目标跟踪算法具有极其重要的意义。本文将围绕基于孪生神经网络的跟踪算法进行优化和改进,用来应对复杂场景下的跟踪任务,提高算法的鲁棒性。本文通过三个方向来提升算法的鲁棒性:跟踪失败后重定位目标、提升复杂背景下的目标检测精度以及运动过程中外观变后的目标模板更新。以上三个问题是孪生神经网络跟踪算法常见现象,本文从特征提取、观测模型和跟踪预测三个方面研究目标跟踪中鲁棒性优化方法。第一,利用核密度函数提取图像的颜色特征。它将生成像素点颜色的概率分布,作为目标核密度模型。该模型还表示特定图片中每个像素点的权重。然后分别计算了目标前景和背景的核密度模型。利用前景密度模型和背景密度模型对目标的每个像素进行概率估计,得到更准确的概率分布。最后,生成图像的核密度响应图,显示图像中每个像素的权重。由于响应图是由颜色信息生成的,所以受弱边和模糊影响较小。当跟踪失败时,利用核密度响应图得到正确的搜索区域。第二,提出了一种预测目标运动过程中外观特征的算法,该算法利用记忆增强卷积长短期记忆网络对目标外观特征变化进行预测,以估计未来的目标外观特征。该跟踪器利用遮挡模拟增强训练,通过管理过去信息,对动态变化目标的长序列进行建模,从而可靠地预测下一帧特征。第三,对目标尺度变化造成跟踪结果不精确的方向进行考虑,本文通过核密度函数特征图与边缘检测算法相结合,自动生成三元图用于提取目标轮廓信息,并以该轮廓的边界重新生成跟踪结果。并且结合了前两章的内容,提出了一种鲁棒的孪生网络跟踪算法,解决了跟踪过程中目标快速运动、视频模糊、目标形变、目标尺度变化等问题,使得跟踪算法更为鲁棒。最后,通过实验验证了改进算法的性能得到了进一步的提升,在干扰较强的视频序列中较其他算法表现较好,表明本文所提出的基于孪生神经网络的跟踪算法具有较强鲁棒性。