目标检测与跟踪在军事和民用领域均有着广泛的应用,是计算机视觉领域的研究热点和最重要的研究方向之一。深度学习的出现极大地推动了计算机视觉领域的快速发展。本文着力于将深度学习运用于目标检测与跟踪领域和并拓展其应用,开展了基于深度学习的目标检测与跟踪技术研究,主要取得了以下四项研究成果:(1)针对目前基于回归的深度神经网络模型在小目标检测上的不足,提出了基于深度学习的多视窗目标检测方法。系统详细地阐述了其工作原理、模型结构及模型实施,同时在VOC2007测试集中挑选出106张小目标图像数据集,并在YOLO(You Only Look Once:Unified,Real-Time Object Detection)、YOLOv2(based on an updated version of YOLO)、SSD(Single Shot Multibox Detector)上进行多视窗方法实验验证,通过定性分析和定量分析充分展示了多视窗模型给YOLO、YOLOv2、SSD带来的性能提升。多视窗YOLO的mAP(mean Average Precision)相比于YOLO提高了14.3%,多视窗YOLOv2的mAP相比于YOLOv2提高了7.4%,多视窗SSD的mAP相比于SSD提高了13.1%,效果明显。同时,提出的多视窗模型对于基于回归的深度学习目标检测方法具有普适性,为基于回归的深度学习目标检测方法在小目标检测上的性能提升提供了一种较好的解决方案。(2)为了将深度学习在物体检测上的优势运用于目标跟踪,提出了一种基于深度学习物体检测的目标跟踪方法。该方法采用基于回归的深度学习检测模型SSD提取候选目标,并结合颜色直方图特征和HOG(Histogram of Oriented Gradient)特征进行目标筛选,实现目标跟踪。为了提升深度学习检测模型的物体检测性能,构建了多尺度目标搜索图,可在一张图上实现不同尺度的目标检测。在标准跟踪测试库上选取8个具有代表性的跟踪视频序列,并选取6种具有代表性的跟踪方法进行了对比测试。结果表明,所提方法在跟踪效果上整体优于参与对比的其他算法,且对于物体姿态变化、尺寸变化、旋转变化、光照变化、复杂背景杂波等影响因素具有较好的鲁棒性。(3)为了将深度学习的方法运用于红外与可见光双波段的目标检测与跟踪上,提出了基于深度学习的红外与可见光决策级融合检测与跟踪方法。首先,建立深度学习模型间的参数传递模型,进而从基于深度学习的可见光目标检测模型中抽取了预训练模型,并在实地采集的红外图像数据集上通过fine-tuning的方法得到基于深度学习的红外目标检测模型。在此基础上,建立了基于深度学习的红外与可见光决策级融合检测模型和决策级融合跟踪模型,并分别进行了实验验证。实验表明,在目标检测与跟踪上,基于深度学习的红外与可见光决策级融合模型相比于单波段模型具有更好的性能和鲁棒性,同时,方法具有普适性,为基于深度学习的多波段融合检测和跟踪提供了方案借鉴。(4)构建了红外与可见光双波段图像采集平台,提出了具体的数据集制作方案,并展示了文中制作的双波段目标检测数据集与目标跟踪数据集,为开展基于深度学习的双波段融合检测与融合跟踪研究提供数据支持。