伴随着人工智能技术在车辆上的应用,汽车自动驾驶将是缓解交通拥堵、减少交通事故、提高驾驶舒适性的重要手段。自动驾驶系统包括环境感知、路径规划和决策控制三个部分,其中环境感知技术为自动驾驶系统提供数据支撑。基于视觉传感器的环境感知由于具有价格低廉,结构简单等优点而被广泛应用。近年来,得益于深度学习对图像深层特征的挖掘,深度学习在视觉感知领域取得了较好的效果,目前基于深度学习的车辆识别技术和车辆跟踪技术是视觉感知领域最具有潜力的方向。本文针对基于深度学习的车辆识别及跟踪算法进行研究,具体研究内容如下:（1）为了解决车辆识别过程中,多尺度车辆难以识别的问题,采用了一种获取多尺度信息的方法:该方法在YOLOv3的三个预测层之前加入金字塔池化结构,并在金字塔池化结构之后加入1×1卷积,通过降低信道数量控制模型大小。金字塔池化结构由四个并行的最大池化层组成,能够提取不同感受野的深层特征。使用该方法提高了模型识别多尺度目标的能力。（2）为了解决车辆识别过程中,车辆重叠的问题,采用了一种优化的非极大值抑制方法:在非极大值抑制过程中,得分最高的框和其他框的平均交并比大于等于阈值时,会把这些框都剔除。但可能在这些框中包含有目标。因此,本文采用优化的非极大值抑制方法,在平均交并比大于阈值时,使用高斯函数进行衰减。使用该方法提高了模型识别重叠目标的能力。（3）为了提升车辆识别算法的精度,采用了一种基于K-means++的默认锚框改进方法:使用K-means++算法对初始聚类中心进行了优化,避免了由于随机聚类所产生的不确定性,同时把平均交并比作为标签相似性的衡量指标,平均交并比越接近于1,聚类距离越小。（4）本文采用了一种基于识别的在线多目标跟踪方法（Deep Sort）:首先估计目标的运动状态,得到目标的运动信息;针对使用SORT算法时,目标在出现遮挡状态下容易出现身份交换现象,本文在Ve Ri数据集上重新训练自己的车辆重识别模型,从而替换原始的行人模型,提取车辆的深度特征并得到车辆的表观信息;使用级联匹配的方法得到目标运动相似度和表观相似度的代价矩阵,匈牙利算法根据代价矩阵的输出值,完成真实框与跟踪框之间的匹配。试验结果表明:目标识别方面,优化后的YOLOv3模型在数据集上的精度为89.76%,与原算法相比,精度提升了6.48%。目标跟踪方面,与SORT算法相比,Deep Sort算法得到的跟踪框的参数更接近数据集标注框的参数,本文算法结合了车辆表观信息后MOTA的值提升了4.7%,且身份交换次数降低了42%。通过在实际交通场景中测试,该方法对车辆的识别和跟踪具有较好的效果。