近年来,视频监控在各种智能工业应用中起到日益重要的作用,如何高效地从视频中自动获取目标的有效信息就成为了一个很有价值的研究内容。研究者们提出了很多静态图像的目标检测算法,但是因为视频中存在大量的运动模糊、失焦、遮挡和奇异姿势等问题,会导致图像质量退化,所以静态图像的目标检测方法并不能很好地适配到视频目标检测中去。目前也有部分关于视频目标检测算法的研究,但大部分算法只是单方面的追求效率或检测质量,并且很多算法都使用了部分未来帧的信息,这在现实场景中的在线设备中是无法应用的。因此如何设计一个能够比较好的平衡检测质量和检测效率的在线视频目标检测算法,既有挑战性又对于真实场景的应用至关重要。本文从平衡检测质量和检测效率的角度出发,在特征提取网络的设计和上下文信息聚合的角度深入研究,利用深度学习的方法实现在线的视频目标检测算法。论文的主要工作有:（1）针对特征提取网络的设计部分,本文主要分析了网络在效率和效果上的问题,并分别针对这两个问题提出了优化方法。首先,针对通常使用的特征提取网络的参数量和计算量过大,从而拖延整个检测网络的效率,本文对特征提取网络部分进行了轻量化设计,主要使用分组卷积和1*1卷积构建的瓶颈结构减少特征提取骨干网络部分的参数量和计算量,并且针对FPN多级特征聚合进行简化,只使用四、五层和五、六层的特征聚合结果。通过该设计,本文的特征提取网络的FLOPs降低到了16.59G,相比VGG-16降低了1.4倍,相比Res Net-101降低了4倍,参数量也降到了10M左右。其次,由于经典的基于深度学习目标检测的特征提取网络基本照搬图像分类任务中的特征提取网络,更关注图像全局的信息,而检测则更关注局部信息,导致分类网络中特征提取部分的大感受野不能适配需要关注局部信息的检测任务。所以本文对特征提取网络结构进行了重新设计,平衡大目标和小目标的特征提取结果,并加入了特征金字塔网络（FPN）来对不同层的特征进行聚合。通过在静态图像目标检测数据集（Pascal VOC 2007）上进行对比实验,发现平均精度均值（Mean Average Precision,m AP）达到了78.36%,相比VGG-16提升了9%左右,在Pascal VOC 2012数据集上进行联合训练后,m AP值达到了81.53%。后续本文又针对检测主体部分进行了优化,加入了一些补充实验,优化后的m AP值最高达到了83.68%,相较VGG-16提高了14%左右。（2）针对视频相邻帧的特性,本文利用上下文信息对目标检测网络进行了两方面优化。首先,本文在特征提取部分加入了光流网络Flow Net 2.0,使用关键帧与当前帧的光流场对当前帧的特征图进行预测,省去一大部分的特征提取的计算时间,达到加速特征提取部分的目的。通过实验发现加入光流网络后,整个检测网络的FPS值达到了19.32,检测效率是原来的2.45倍,且m AP值只降低了2%左右。其次,针对相邻帧的信息相关性,本文在检测主体部分进行了优化。在RPN部分对关键帧和非关键帧的proposal进行聚合,提出了在语义层上对上下文信息进行聚合的轻量化方法。通过在Image Net VID数据集（ILSVRC VID 2015）上进行实验对比,m AP达到了77.4%,相较于原始模型提升了8.9%。本文又针对检测效率和检测质量的平衡提出了三种策略,在ILSVRC VID 2015上均达到了m AP值75%+,FPS值19+的效果,通过这三种策略可以在尽可能保证检测效果的同时有效提升检测的效率,以达到接近实时的效果。