车道场景检测作为智能车前端场景感知的重要组成部分,准确性和实时性是智能车做出精准控制决策的重要条件,本文提出多模态方法能够在满足准确性及实时性要求前提下完成车道场景目标检测任务(主要为车辆),在所述实验条件下较之传统单模态检测有更好的效果,相比同质算法也有提升。具体主要研究工作与结果如下:针对仅用图像模态对车道场景表达能力不足的问题,提出了一种图像结合激光雷达利用其深度信息的多模态车道场景检测解决方案。雷达深度信息的加入结合像素点信息,很大程度上规避了用单种模态检测带来的车道场景物体错检、漏检情况。通过在KITTI国际公开数据库上的主观和客观实验对比,在单模对比实验(CPU)中准确率提升10%~15%,在同质多模算法(GPU)对比实验中单帧速度提高2倍。针对3D激光雷达点云对于2D图像像素点而言非常稀疏,通过图像像素坐标系与雷达坐标系平移旋转将激光雷达点云数据直接投影到图像上,雷达点数量级远小于像素点数量级,由此增加时间复杂度,丢失部分雷达信息,而这恰恰就是第二章中其他同质多模算法为什么在时间耗损上开销大的原因。故提出一种基于雷达俯瞰视角ROI与图像ROI融合的3D bounding-box提取方法。雷达方面将雷达点云数据向俯瞰视角图上投影,较大程度的保留点云信息与深度信息。通过卷积网络做下采样,同时雷达RPN网络提名目标,回归出8个点的3D框坐标,图像方面引入高效深度学习检测预训练模型,其结果较之单模态或者是前一章提出的图像结合激光雷达方法更为准确,综合准确率提高5%,单帧处理速度提高3倍左右。进一步地,由于3D bounding-box的提取,故能提供更多关于被检测物体的3D位置信息以及朝向信息,这也是未来工作开展的一个方向。面向结构化道路场景下的多模深度学习应用从无人车目标检测实时性、准确性出发,基于前两个研究内容为理论基础,面向结构化道路并针对场景特点,修改摒弃不适的系统设计方法,提出一套兼具实时性与障碍物目标检测准确性的多模深度学习检测系统,基于pascal VOC2007和长春一汽红旗车采集数据作为离线学习数据库,在长春农安试验场和绕城路段做低速、高速在线测试。并与其他一些车辆前方障碍物检测系统做对比实验。