为了保证自动驾驶车辆对环境的准确感知以及冗余设计,其传感器套件通常都综合了多源异构传感器。一方面,系统因此能获得场景中更丰富的纹理、结构等信息,另一方面,这对传感器软硬件提出了更高的要求。针对该问题,本文探索了融合时序信息、多模态信息对3D多目标跟踪性能的影响,本文主要的工作如下:（1）考虑到激光雷达点云在不同方向的空间分布不一致性,研究了一种正态分布拟合栅格化点云的配准方法,使得多激光雷达的外参求解更能稳定收敛。为了达到多模态数据融合,基于棋盘格角点检测和点云聚类与平面拟合算法,实现了一种自动化的激光雷达与相机外参标定方法。（2）针对传统3D多目标跟踪算法无法充分利用历史状态信息的问题,提出了一种基于时间序列预测的3D多目标跟踪算法,通过内部记忆与外部记忆两个模块实现对目标运动状态建模,并由门控循环单元进行状态更新。将模型输出的预测状态与检测结果构建3D Io U代价矩阵,并由KM算法完成数据关联。对算法各模块在大规模数据集上进行了细致的消融实验,并进行了定量与定性分析。（3）研究了一种融合激光雷达和视觉的数据关联算法,以解决复杂交通场景下因遮挡而导致目标跟踪丢失的问题。首先,为了解决传感器间因视场角差异而无法共视的问题,提出了一种基于中心距离与前景遮挡率的过滤方法。然后将目标重识别任务引入多目标跟踪中的数据关联,基于视觉注意力机制神经网络SwinTransformer和改进的Point Net++,分别从目标图像和点云提取高维特征并拼接。最终,采用高斯核-级联匹配对所有轨迹和检测目标构建关联。（4）搭建了感知多传感器软硬件平台并进行了实车实验。通过对实际采集数据的分析,研究了一系列感知预处理算法:感兴趣区域提取、地面点分割、目标聚类与3D包围框拟合。为了减少3D真值标签的任务量,提出了一种基于全局点云地图的标注方法,便于感知算法在实车上的高效迭代。最终的实验结果验证了本文感知算法的效果。