不成熟的行为、疲劳驾驶和疏忽驾驶等被认为是主要的安全问题。这些人类行为被认为是交通事故发生的核心问题。目前的应对措施是给车辆配置高级驾驶辅助系统(ADAS)或无人驾驶系统来缓减交通事故的发生,但同时这对车辆技术发展提出了更高的要求。而对于前方车辆的检测和跟踪系统的研究在该项目中占主要地位,因此目前大批研究员投入到车辆图像处理相关的研究中[1]。目前主要面临的问题是:不断变化光照影响像素的问题;摇动的树木遮挡车辆的问题;恶劣天气影响像素的问题等复杂情况的影响,这些不断变化的背景使得运动车辆检测和跟踪的难度也提高[2]。本文的主要工作是在前人研究基础上,主要针对在不同背景的情况下对车辆检测与跟踪方面进行研究。近年来,随着深度学习的不断深入研究,该技术逐渐得到广大学者的认可并且使用。本文基于改进的卡尔曼滤波的前方车辆检测与跟踪系统的研究为了提高系统的性能,在车辆检测算法中引入了深度学习的相关技术。该技术对于复杂常景中的不同尺度和类型的目标进行实时检测表现优异[3]。在本文中,我们为了使得该系统在速度和精度上达到平衡,在卡尔曼滤波跟踪的基础上进行改进。由于本系统待检测的目标数量庞大且种类繁多,在计算过程中需要大量的计算,为此,我们在该系统中使用的是一个简化的Yolov3的版本,本文采用的卷积层比Yolov3精简很多从而使得Yolov3不需要占用大量内存,从而加快了检测速度,但这种方法会导致小目标检测出现漏检的情况。为了解决这个问题,我们对提出的网络结构进行了相应地调整使其适应本系统的需求。为了增强了目标的特征提取能力从而获得更高的检测精度,我们采用K-means聚类更加快速地在训练集边界盒上搜索我们需要的模型,它使得我们数据集具有更好的学习能力。此外,为了深化网络层在三个原有网络卷积层的基础上增加了一个网络卷积层进一步提高Yolov3性能。在如今大数据的背景下,为进一步提高在不同数据集下的性能,本文以Pascal VOC数据集为基础进行填充优化。目标检测的实验结果表明,改进的Yolov3较原始的框架,其精度得到了提高了,从侧面说明改进的Yolov3具有较高的应用价值。在传统的车辆跟踪方面,由于卡尔曼滤波可以对对下一帧目标进行预测并且减小该帧图像跟踪结果产生漂移的概率,为了缩短长时跟踪期间的误差问题,它一直被大家热捧[4]。通过卡尔曼滤波获得检测和预测的结果后,针对车辆外形相近的问题,为了更好的区分车辆,外形相似的车辆不仅需要通过面积交并比而且需要通过车辆的颜色直方图进行特征提取。接着,通过匈牙利算法进行数据关联,使得跟踪更加精确,避免长期跟踪中目标丢失的问题。此外,本文为了应对跟踪过程中产生的遮挡问题提出基于区域的质量评估网络的方法来降低了标签切换数量从而提高跟踪准确度,最后系统在不断迭代后形成跟踪轨迹。为了验证系统的可行性,本文选取不同场景中的车辆进行分析,为了进一步确认本文算法的优越性,实验中选取卡尔曼滤波算法和粒子滤波算法进行对比测试,实验结果表明本文算法相较于传统的算法不仅精度高而且灵敏。