随着生活水平的提高,越来越多的消费级无人机被广泛地应用于各种领域。尽管无人机的普及使得工作生活更加丰富多彩,但因无人机操作不当、未经许可的随意“黑飞”也引起了诸多安全问题。面对日益严峻的无人机防患问题,本文基于深度学习对具有“低、小、慢”特点的弱小无人机进行视觉检测,从而为反无人机系统提供算法支持,主要工作如下:1)针对现有基于彩色图像的目标检测算法不能实时且高准确率的识别弱小无人机的问题,提出了一种改进的YOLOv4（You Only Look Once）网络模型。考虑到弱小目标检测需要更多的细粒度信息,削减了CSPDarknet53一些深层的残差单元,构建了处理大特征图的主干特征提取网络;并通过枝剪第五个大残差模块的输出特征图与前移特征层的方法构建了聚合特征金字塔,使得主干网络变浅,金字塔最底层的特征图扩大4倍,同时撤去高层的低分辨率预测器,转而将高层与中层特征信息进行融合,实现了实时探测弱小无人机目标的算法。最后实验证明提出的改进算法相比于原网络准确度提升了2.8%,召回率提升了4.7%,fps提升了6.3。2)针对基于单帧目标检测算法没有利用视频时间上下文信息的问题,提出了一种聚合时空信息的视频目标检测算法。将视频流分为关键帧与非关键帧,在关键帧计算检测网络的所有主干特征提取网络与特征金字塔,在非关键帧只计算低层主干特征;利用提出的特征流计算模块将关键帧的高层金字塔特征与非关键帧的低层主干特征进行聚合,从而达到利用关键帧的特征增强整体检测效果的目的,并且在非关键帧中省去了提取高层特征的步骤,从而在增强检测效果的同时又减少了检测时间。实验表明提出的视频检测网络相比于单帧目标检测网络准确率提升了4.1%,召回率提升了6.3%,fps提升了5.2。3)针对彩色相机在光照不足条件下的劣势,提出了基于孪生网络的双模态联合学习网络。通过孪生网络提取彩色与红外图像的独立特征,并使用提出的特征融合模块来处理网络各层输出的特征图实现两种模态特征优势互补;最后通过监督学习平衡融合特征与独立特征的贡献,从而使孪生网络可以学习到两种模态的公共与互补特征。实验表明该方法可以有效弥补单一输入图像目标成像恶化的问题,从而提升弱小无人机检测算法在复杂环境中的检测结果,相比于单输入网络准确率提升了2.6%,召回率提升了5.1%。