异质时空数据融合旨在综合不同类型传感器上获取的具有互补性的数据,是提升数据应用能力的重要手段,在现代安防监控中发挥关键作用。由于其自动的特征学习能力与在大数据下的优良性能,近年来深度学习在安防监控中的应用日益增多,但现有研究大多集中于单类型数据。在实际安防系统中,常获取多种类型传感器在不同时间点的时序数据,需要深度学习方法能够对异质时空数据进行自动综合与处理。围绕该问题,本文面向安防监控中的毫米波雷达与光学传感器,探索基于深度学习的多源异质时空数据的关联、配准、融合,以及目标检测、识别与跟踪方法,以提高雷摄系统(毫米波雷达-光学摄像头系统)的目标辨识精度。主要研究内容及成果如下:1.针对常用数据关联方法对于应用场景鲁棒性不足的缺陷,提出了一种基于在线深度学习的数据关联方法。首先,设计深度相机标定网络,利用传统相机标定方法初始化网络参数;然后,设计一种基于最近邻与交并比相结合的数据关联方法,对雷达目标与光学目标进行数据关联;最后,利用雷摄系统中的数据流在线训练相机标定网络。由于该网络利用了在线深度学习,因此具有实时性、高效性的特点,可以有效应对用于不同场景时鲁棒性不足的问题。在自行构造的数据集上进行了相机标定与数据关联实验,实验结果表明:本方法能快速对异质数据的相关性做出判断,相比于传统相机标定方法定位误差减少13.04%,数据关联准确率提升6.01%。2.针对多源目标检测中异质数据未能充分利用的问题,提出了一种基于注意力机制的雷摄目标检测模型RC-Det(Radar Camera system Detection)。首先,对光学图像初步检测,并利用相机标定网络确定雷达目标在图像中的范围;接着,构建雷达与光学图像映射模块,并将图像初步检测结果与相机标定结果送入映射模块,分别产生光学、雷达显著图;然后,设计基于卷积自编码的双定位融合模块,并将上述显著图送入其中,以确定目标在图像中的范围;最后,利用图像目标检测模型对该范围图像进行精确检测。在自行构建的数据集中,将该模型分别与单源目标检测网络以及传统数据融合算法进行多组对比实验,结果表明,RC-Det模型的准确度相比现有单源目标检测网络至少提升9.08%,相比传统数据融合算法提升6.91%,充分验证了网络的有效性。3.为了充分利用异质时空数据在时序上的关联信息,提出了基于长短时记忆网络(LSTM,Long Short-Term Memory)的雷摄目标跟踪模型RC-Track(Radar Camera system Tracking)。首先,基于LSTM构建时序目标的预测网络,根据目标在图像中的变化趋势,预测其下一时刻位置与大小;其次,利用相机标定网络与雷达映射模块生成雷达显著图;接着,将上一时刻预测信息送入光学映射模块,产生光学显著图;最后,将上述显著图送入到双融合定位模块,根据其结果对目标所在范围进行精确检测,并将结果返回预测模块。在自行构建的数据集中,多组对比实验结果表明:RC-Track模型的准确率相比光学目标跟踪模型至少提升6.62%,相比于传统时序异质融合的目标跟踪方法提升4.7%。