目标检测与跟踪是目前计算机视觉方向的研究热点之一,在无人驾驶技术、智能安防、医学影像辅助诊断等诸多领域都扮演着重要角色。尽管科研学者提出了许多在数据集上性能优异的目标检测与跟踪算法,可是在现实场景中,由于目标的形变、背景复杂、遮挡以及离开视场等众多因素的影响,还有在实际应用时设备对算法的实时性要求,目标检测与跟踪依然存在极大挑战。本文通过对基于深度学习的目标检测与跟踪算法的研究,分析了现有目标检测算法和目标长期跟踪算法存在的问题并做出了相应的改进,论文主要的研究内容包含下面两个方面:(1)对现有的基于深度学习的目标检测算法进行研究与分析后,针对YOLOv3进行深入研究,分析了算法存在的三点不足并进行优化。针对手工设定的锚点框无法确保适合所有目标的问题,采用自适应锚点框,根据目标在图像中出现的概率和长宽比自适应地生成锚点框,产生候选区域;针对传统特征金字塔结构在处理不同尺度特征图时存在梯度不一致性的问题,利用自适应空间特征融合算法来克服不同尺度特征图之间存在的梯度不一致性;针对常用的边框回归损失函数与网络性能评价指标没有直接关联的问题,采用更加符合评价指标的损失函数,提升网络性能。最后在数据集上进行测试,平均准确率比YOLOv3提升了4.8%。(2)对现有的基于相关滤波的目标跟踪方法进行分析与研究后,针对当前目标跟踪方法由于缺少判别跟踪效果,导致错误累积,因而无法实现对目标长期跟踪的问题,提出基于最大峰值响应和平均峰值相关能量来判别跟踪效果,在跟踪失败后利用基于深度学习的高效目标检测算法重新寻找目标。为了实现在复杂场景下对无人机目标的长期自动跟踪,采集无人机图像与视频,并利用数据增强方法制作无人机数据集。最后通过将训练好的无人机检测器、相关滤波跟踪器和跟踪置信度模块组合成无人机目标长期自动跟踪器。在自制的无人机视频序列中对主流的几种跟踪器和本文提出的跟踪器进行测评与比较。实验表明,相较于传统算法,本文算法在长时间范围的复杂场景下的跟踪效果有更好的效果。