三维目标检测与跟踪作为自动驾驶感知模块中的核心任务需要在识别物体类别的同时检测出物体在三维空间中的位置、大小、朝向和速度并输出物体历史轨迹,从而为下层的预测和决策模块提供依据。激光雷达和相机作为智能汽车感知系统中两种常见的传感器可以为三维感知任务提供不同的模态支持。激光雷达生成的点云可以提供准确的深度和几何信息,但是点云具有稀疏性且只能提供形状信息,在面对远小或形状缺失的物体时,描述能力不足。相机生成的图像规则且稠密,可以提供丰富的纹理和颜色信息,但是丢失了深度信息,难以实现高精度的三维定位。可见,单一传感器很难满足智能汽车对感知系统精确性和鲁棒性的需求。基于多传感器的多模态融合感知是未来发展趋势,也是当下研究的热点。传统的传感器融合主要采用结果级的后融合,并没有充分发挥融合优势。因此,本文致力于将点云与图像信息进行深度融合,以充分挖掘二者在融合中的优势,提高三维目标检测与跟踪的精度。本文主要研究内容包括以下四部分:（1）点云与图像输入层融合三维目标检测算法研究针对点云稀疏、面对远小物体难以检测的问题,本文提出了一种在输入层利用图像实例分割结果稠密化点云并增强语义的前融合方法Mask Densing。本文首先将真实点云投影到掩码图像上并在有效掩码部分采集虚拟点,然后以最近真实点作为其对应深度,进而根据激光雷达与相机间的投影矩阵逆向生成虚拟点云实现点云前景稠密化并将掩码对应类别信息以独热编码的形式加入点云实现语义增强。为了克服硬体素编码的信息丢失并减少计算量,本文引入了动态体素编码并增加体素几何编码以平衡类别和几何维度。在nu Scenes数据集上进行实验,结果表明本文所提出输入层融合算法相比于基线算法对各类别的检测结果均有提升,尤其针对远距离和小目标物体提升效果显著。（2）点云与图像特征层融合三维目标检测算法研究针对点云与图像输入层融合无法充分挖掘图像上下文特征的问题,本文提出了基于Transformer架构的点云与图像特征层融合算法Deform Fusion。在点云分支提出了用分类辅助监督产生热点初始化物体查询的热点解码器,有效解决Transformer收敛速度慢的问题。在特征融合过程受可变形思想启发,提出可变形空间限制特征聚合模块,以点云分支初始检测结果为参考点,通过可学习偏移量自适应的聚合图像特征。在nu Scenes数据集上进行实验,结果表明本文所提出特征层融合算法优于输入层融合算法,消融实验也表明Transformer架构和点云与图像特征层融合的优势。（3）点云与图像混合融合三维目标检测算法研究针对本文所提出的序列式点云与图像特征层融合算法过于依赖第一阶段点云初始检测结果的问题。本文利用输入层融合算法易于嵌套的特点,结合二者优势提出了一种在输出层与特征层混合融合的三维目标检测算法Mix Fusion。在第一阶段利用输入层融合算法提升点云检测的召回率,然后通过第二阶段特征层融合进一步优化检测结果。在nu Scenes数据集上进行实验,结果表明混合融合算法优于纯输入层融合算法和纯特征层融合算法,验证了本文所提出的混合融合算法的有效性与优越性。（4）点云与图像融合的三维目标跟踪算法研究针对先前三维目标跟踪任务中标识频繁变换问题,本文利用Mix Fusion的高精度三维目标检测结果并结合点云与图像融合特征提出多模态融合三维目标跟踪算法Deep Track3D。在运动模型上,本文采用卡尔曼滤波算法并进行三维扩展,在数据关联模块中提出融合点云与图像语义特征和三维边界框几何特征的级联匹配策略以及基于3D GIo U的几何匹配策略,在生命周期管理模块中提出两阶段生命周期管理策略以保持跟踪持续性。在nu Scenes数据集上进行实验,结果表明本文所提出的点云与图像融合三维目标跟踪算法优于之前的算法。