基于深度学习的目标检测与识别技术随着研究的深入也早已进入到了工程领域,但目前被广泛使用的都是基于单帧的检测框架,这种框架能作用于单帧图像任务也能作用于多帧的视频任务。视频的检测与识别任务有一个特点,就是视频是由许多帧构成,前后帧在时间上是存在联系的,同一个目标在相邻帧上的变化存在着运动信息,这种运动信息的存在虽然会造成对焦模糊、运动模糊等现象,但若是能充分的使用这种运动信息,也能提升目标检测与识别的能力。故单帧的框架必然无法满足多帧的任务,如何能够利用相邻帧上的这种时间上的以及运动上的信息,是本文研究的方向。尤其是本文所使用的数据集是在无人机上拍摄的视频数据,使得检测与识别任务需要面对目标复杂等问题,同时由于无人机自身的运动导致画面出现抖动模糊的情况。本文所要解决的技术难题便是研究如何利用相邻帧之间的时间上的运动信息,来设计出相对于单帧框架拥有更好性能的算法,从而规避单帧框架的弊端,本文采用了两种不同的思路来设计算法,主要工作包括以下几个方面:首先,构建了基于记忆模块和交错模型的MG-SSD(Memory Guided Single Shot Multi Box Detector)目标检测与识别算法。由于在相邻帧上的特征表示往往相似,所以采用一种记忆的方式使用过去的特征来提高当前的检测结果是MG-SSD算法的核心理念。它将来源于循环神经网络中的LSTM与目标检测中的卷积层结合,形成这个检测与识别框架中的记忆模块。在此基础上,利用Bottleneck设计提升LTSM层的性能,使用Shufflenet单元代替一般深度残差网络中的Res Net单元来减少计算资源的消耗,并使用反卷积模块提升网络对中小目标的检测与识别能力。而交错模型的设计充分体现了利用时间信息的好处,利用精度优化网络保留的记忆,提升速度优化网络的能力。其次设计了基于光流特征传播和聚合的FG-FCN(Flow Guided Fully Convolutional Networks)目标检测与识别算法。与MG-SSD算法采用记忆模块保留一部分特征不同,FG-FCN利用光流网络预测出光流场,以此进行特征的传播和聚合的方式提升检测与识别的质量。其中在关键帧和关键帧之间使用了稀疏递归特征聚合,而在关键帧和非关键帧之间采用了空间局部特征更新。由于光流网络的性能也影响着整个算法,因此使用了空洞卷积和通道注意力机制来改进光流网络。另外还有设计关键帧调度算法,以及采用可变形卷积的R-FCN作为检测识别网络。最后,通过在无人机拍摄的数据集上比较了本文两种不同思路设计的算法在不同超参数的情况下检测精度以及检测速度上的差异,并与其他算法进行了对比。发现基于光流特征传播和聚合的FG-FCN算法在超参数较小的情况下精度高于基于记忆模块和交错模型的MG-SSD算法,但在超参数逐渐增大后,MG-SSD算法的性能渐渐优于FG-FCN算法,而且在总体上,MG-SSD算法的运算速度要快于FG-FCN算法。同时为了体现本文设计算法的泛化能力,通过在自采数据上进行了测试,表明本文算法的普适性,满足需求。