近年来,无人机在民用和军用领域发展迅速,在无人机上搭载多种传感器可以全天候感知地面场景信息,通过一系列决策算法可以实现无人机的自主飞行。本文设计并研制了一套基于深度学习的机载多光谱目标检测系统,该系统通过无人机平台上搭载的红外探测器和可见光相机获取图像数据,在机载嵌入式平台上进行实时推理,并将目标检测的结果反馈给飞控模块,进而控制飞行器的飞行方向和距离,实现无人机的自主飞行。图像处理子系统是本系统的重要组成部分,其核心是针对航拍图像的目标检测算法。由于航拍图像的场景变换大,细节信息不足,传统方法难以有效提取目标,而基于深度学习的检测框架能够更好地提取特征。但由于嵌入式平台的计算资源有限,难以满足深度网络快速推理的需求。本文针对航拍数据的特点以及嵌入式平台资源的有限性,提出一种机载多光谱轻量级目标检测网络CENet-SSD。本文结合DenseNet和ResNet的思想提出了一种低参量的CE单元来构建特征提取网络,同步提升网络性能与效率,并且在预测层去掉了冗余的预选框,有效地降低了计算量。实验结果表明,该方法在保证准确率的同时,大幅度提升了算法速度。为了进一步提升算法的运行效率,本系统还使用了基于TensorRT的网络推理加速方案,在保证准确率的条件下,通过使用高度集成的内核模块和降低权值精度对CENet-SSD网络模型加速,最终在嵌入式平台Nvidia Jetson TX2上面实现了60FPS的高速推理。