计算机视觉技术的迅速发展使智能车辆感知系统发生巨大变化。环境感知系统能够及时的获取车辆周围环境信息,为保障车辆行驶安全具有重要意义。在复杂的交通道路场景中,由于车载摄像机拍摄到的行人通常在图像中以中、小目标形式呈现,并且经常出现漏检、误检现象,因此本文提出了一种适用于智能车辆的行人检测与跟踪方法。在满足实时性要求的前提下,提高行人检测与跟踪的性能,尤其是显著提升了远距离小目标行人的检测与跟踪效果,为后续智能车辆的多传感器融合提供了丰富的视觉信息。首先,针对行人检测出现的误检、漏检以及小目标检测效果差等问题,提出了一种基于YOLOv5s的行人检测方法（SD-YOLOv5）。在YOLOv5s的基础上对网络模型进行轻量化改进,将Ghost-Bottle Neck模块代替了Bottle Neck CSP模块。为了降低真实框与预测框之间的误差,引入Alpha-Io U作为定位损失函数。通过应用切片辅助推理（Slicing aided hyper inference,SAHI）改进推理过程提高行人的检测精度。实验结果表明,在BDD100K数据集上SD-YOLOv5与基准YOLOv5s相比,网络模型的计算量GFLOPs减少5.5,参数量减少2.2M,AP提升了4.8%,小目标行人的APs提升2.1%。在满足实时性要求的同时提升了行人的检测精度,尤其是显著提升远距离小目标行人的检测效果。其次,为了更好的提升行人跟踪效率,提出了一种基于Deep Sort的目标跟踪方法（LW-Deep Sort）。在Deep Sort基础上应用轻量化的OSNet网络替换原有的网络模型提升目标外观特征提取的效率。实验结果表明,在MOT16数据集上LWDeep Sort与基准Deep Sort相比,MOTA提升1.6,速度提升5.3HZ,明显提高了跟踪器的性能。最后,将SD-YOLOv5行人检测方法与LW-Deep Sort跟踪方法在真实交通道路的复杂光照场景视频数据进行跟踪测试。应用Tensor RT将行人检测与跟踪方法在智能车辆平台上进行优化加速,完成了校园交通道路场景的行人检测与跟踪测试,推理帧率保持在44FPS,满足智能车辆环境感知系统的性能要求。