信息融合通过收集目标的多源信息,再对数据进行处理、关联、滤波与融合,从而形成最终的判决结果。近年来,随着传感器性能的不断提升以及各种深度学习算法的应用,信息融合技术也逐渐从依靠同质传感器转变为依靠异质传感器的融合。这种多模态传感器融合技术可以有效提高系统对环境的适应力、决策的准确性和系统的安全性。本文旨在提高融合系统的目标识别率及跟踪精度,主要研究内容如下:1.针对毫米波雷达与摄像头融合时特征不一致问题,本文设计了一种基于点云的融合系统,该系统能够弥补摄像头在特殊场景无法进行目标识别以及毫米波雷达分类效果不佳的缺陷,并获得目标检测率的提升。研究中还对传统的单目深度估计算法进行改进。实验结果表明:原始的单目深度估计算法在目标与传感器形成夹角时,距离计算存在较大误差;而本文提出的基于距离-像素的算法在降低纵向距离误差的同时,还能对横向距离进行计算。2.针对多个雷达的特征融合问题,本文提出了一种基于双通道深度神经网络的融合算法,并对比了基于单通道特征提取网络的目标识别效果。仿真结果表明:基于双通道融合网络的识别率高于基于单通道的方法。3.针对远距离探测雷达与红外传感器融合时跟踪误差较大问题,本文搭建了一种数据级融合系统,该系统使用交互式多模型结合联邦滤波器来提高目标跟踪效果。其间使用一种基于非等间隔滤波的算法进行时间同步,相比于传统时间同步方法,该算法减小了跟踪误差。研究中将该融合系统与单一传感器进行了对比。实验结果表明:在不同的信噪比下,融合后的跟踪效果都比单一传感器更好。本文进一步拓展了多模态传感器融合技术在自动驾驶上的应用,可以为复杂道路场景下的目标识别与目标跟踪提供新的技术方案。