高精度的环境感知是实现智能驾驶的技术基础,解决可靠的环境感知问题是保证智能驾驶中人车安全的重要前提。随着深度学习算法和传感器硬件水平的不断发展,基于跨模态信息融合的环境感知技术表现出广泛的应用前景。图像传感器数据拥有丰富的色彩、纹理信息,而激光雷达可以获得精确的三维环境信息,具备更强的全天候工作能力。本文以图像数据和激光雷达点云为基础,克服单一传感器数据存在的缺陷,融合不同传感器信息,研究实现室外场景下的环境感知技术。主要工作内容如下:首先本文介绍了多传感器数据融合理论基础,研究分析激光雷达和图像传感器各自的成像原理以及多传感器信息融合的数学基础。然后针对资源受限设备,基于轻量化网络Mobile Net V3对YOLOV4目标检测算法进行优化,旨在保证模型精确度不明显下降的情况下,减少模型大小,提高推理速度。主干网络使用Mobile Net V3,使用深度可分离卷积代替传统卷积,实验结果证明改进后的YOLOV4算法模型大小、推理速度、检测精度均达到预期目的。接着融合图像信息改进稀疏点云稠密化算法。激光雷达采集的原始点云数据往往比较稀疏,使得基于点云的特征提取和语义感知比较困难。本文从图像分割任务中得到像素语义和实例信息,并利用点云和图像像素的映射关系完成点云分割,对感兴趣点云进行稠密化。实验证明,本文融合图像信息的点云稠密化算法更完整保留原始点云三维信息,同时点云稠密化算法运行效率也得到明显提升,稠密化后的点云对目标检测任务有明显的促进作用。最后,基于工业相机和激光雷达完成决策级信息融合的目标检测。硬件设备选择使用LIVOX浩界激光雷达和海康工业相机,使用张正友标定算法完成相机内参标定,根据激光雷达数据传输协议,实现激光点云的数据采集和解析。使用标定板完成相机和激光雷达的联合标定,实现多传感器数据融合。在完成图像和点云检测的基础上,对图像和点云检测结果进行决策级融合。通过实验验证了融合图像信息的检测算法相对于单传感器算法具有明显优势,能有效避免目标漏检。