无人驾驶汽车是人工智能技术的一个非常重要的验证平台,在自主驾驶过程中,需要车辆拥有环境感知、环境理解、环境建模、自主规划、运动控制等功能。在环境感知领域,通常使用相机、激光雷达等传感器获取目标信息。但是在实际应用中,由于图像数据对前景纹理和背景纹理极为相似的目标（如树丛背景下身着迷彩服装的行人）检测经常出现误检或漏检等问题,而基于激光雷达的3D点云数据虽然可以减少行人纹理等特征对检测结果的影响,但由于其点云数据量大、分辨率低等问题,难以快速准确地实现行人检测与跟踪。为了解决上述问题,本文主要采用了激光雷达与相机融合的策略,主要对复杂环境下的行人检测与定位跟踪展开了以下探索性研究:（1）研究了基于图像数据和深度学习技术的行人检测方法。重点研究行人衣着纹理与背景纹理十分相似的难分类问题,利用迁移学习的方法对YOLOv3模型参数进行调整,通过引入Attention机制和焦点损失机制,增大具有强影响的特征信息响应,从而提升难分类行人样本的检测准确度。（2）研究了基于图像数据和雷达数据融合的行人检测方法。首先进行多传感器数据标定,即将64线雷达数据和相机数据分别进行坐标转换,使其建立在同一时空坐标系下。采用点云数据特征提取方法对雷达数据进行行人检测,并在融合多传感器数据时,采用两种不同方法并进行对比:一是将雷达数据检测到的行人信息投影到图像空间中,并使用基于图像的深度学习方法进行验证;二是引入模糊推理方法,对基于图像数据的检测结果和基于雷达数据的检测结果进行置信度融合。实验证明,后者对难分类行人样本的检测率更高,具有较好的应用价值。（3）探索基于多传感器数据的行人运动速度估计。我们分别在图像空间和雷达点云空间中,通过卡尔曼滤波对检测出的目标进行位置跟踪,通过对比跟踪结果,选择在图像空间进行目标跟踪,并基于三维空间数据对目标的运动速度进行估算。上述研究成果已成功应用于南理工“行健队”无人车上,该车参与“跨越险阻2018”陆上无人系统挑战赛,并取得优异成绩。