近几年,随着我国现代化进程的快速发展,汽车拥有量逐年增加。降低交通事故的发生率,保障人们的生命财产的安全,成为全世界各大汽车厂商实现智能驾驶技术追求的目标。低复杂度高性能道路交通目标检测和跟踪技术是智能驾驶技术应用的关键,目前基于雷达传感器的环境感知设备复杂度较高,价格昂贵,不利于大规模普及,且难以提供交通场景的语义信息。而基于视觉的传感器成本低廉,可以提供丰富的环境语义信息。因此,研究基于视觉传感器对周围环境的感知具有重要意义。本文从道路交通应用场景的需求出发,提高算法的鲁棒性,检测精度和降低模型复杂度,对交通场景的语义分割和车辆检测跟踪技术进行全方位研究,主要研究内容如下:1、针对Deep Labv3+语义分割模型容易产生目标不连续、图像像素信息丢失和模型复杂度高的问题,提出了改进的Deep Labv3+语义分割算法。在解码模块中引入了多个高分辨率低级特征图缓解了目标不连续问题,利用逐层上采样替换直接4倍上采样操作降低了图像像素信息丢失的问题;在空洞空间金字塔池化ASPP（Atrous Spatial Pyramid Pooling）模块中,用新的空洞率替换原来的空洞率,扩大特征图的感受野,使用深度可分离卷积代替标准卷积,减小模型的复杂度。实验结果表明,平均交并比MIOU（Mean Intersection over Union）值达到78.95%,提高2.75%,FLOPs（Floating Point Operations Per Second）减小17.69%,证明了本文方法有效性。2、研究了YOLOv4目标检测算法的基本原理,分析了该算法的网络结构、模型训练及目标检测的全过程。在不同的实际交通环境下对YOLOv4目标检测算法性能进行验证与分析。实验结果表明,该方法在正常光照、强光照、光照强烈变化的条件下能够成功的检测直道、弯道、十字路口不同种类的车辆;但在弱光照、有遮挡的条件下,容易发生漏检现象。3、针对车辆检测在弱光照和有遮挡的情况下出现的漏检问题,提出了基于YOLOv4算法的改进Deep Sort跟踪算法。利用YOLOv4算法进行特征提取,采用卡尔曼滤波算法估计车辆轨迹状态,运用匈牙利匹配算法对检测框和预测框进行匹配。将检测框和预测框的广义交并比GIOU（Generalized Intersection over Union）代替交并比IOU（Intersection over Union）作为衡量参数,提高Deep Sort跟踪算法的匹配性能。对比单一的检测算法和加入跟踪算法后的车辆检测效果,结果表明,加入跟踪算法后的漏检现象变少,车辆检测效果得到提高,鲁棒性增强,并且多目标跟踪精度MOTA（Multiple Object Tracking Accuracy）提高7.55%。