随着深度学习应用研究的深入,基于卷积神经网络的目标检测与跟踪技术在图像处理、无人驾驶、智能监控等领域发挥了巨大的作用。但是在实际高速场景中,由于受光照强度、恶劣天气、车辆快速移动、尺度变化和目标形变等因素限制,对视频的车辆检测与跟踪会产生很大的影响。为解决以上问题,本文基于卷积神经网络提出一种适用于高速公路场景的目标检测与跟踪算法,主要内容如下:(1)在卷积神经网络Faster R-CNN目标检测算法的基础上,针对传统模型存在的不足以及训练集和测试集样本存在差异性问题,考虑结合域自适应,提出基于域自适的Faster R-CNN车辆检测算法。通过在多个数据集上使用多种经典目标检测算法模型进行对比实验来测试模型的有效性,实验结果显示模型检测表现良好,但对于一些小尺度和背景相似目标存在漏检的问题。研究分析发现这是由于算法模型中区域生成网络只能接受卷积层最后一层提取到的车辆目标特征,算法模型需进一步的改进。(2)以当前目标跟踪领域中最为流行的孪生网络作为基础网络结构,针对孪生网络跟踪算法精度不高和速度慢的问题,提出基于区域生成的Siamese跟踪算法,通过引入Faster RCNN中的RPN(Region Proposal Network)网络,框架采用大规模图像进行端对端训练。本文在当前主流目标跟踪测试数据集上进行大量实验,通过精度图、成功率图和逐帧中心误差等指标对算法模型分析。实验结果表明在光照变化、快速移动、低分辨率场景下跟踪效果不错,但模型对场景中发生显著光照变化和当车辆与背景相似时的车辆目标跟踪性能还有待提高。(3)建立高速公路数据集,依据不同的场景、时间、天气等将数据集分类。实验结果发现基于域自适的Faster R-CNN模型对于背景相似和小尺度目标容易出现漏检,为解决这一问题,本文对RPN网络改进提出多尺度检测模型并测试,实验结果表明改进模型对于小尺度目标检测性能有明显的提高;另外,本文也进行了车辆类别迁移实验,结果表明域自适应组件对不同域之间的迁移是有效的,同时挖掘困难样本和多尺度训练方式对模型的检测性能有一定的帮助。通过引入多尺度检测方法和干扰物感知训练方式解决跟踪模型的问题,并对实验结果进行了精度图和成功率图分析,得出该方法对跟踪模型有一定效果的提升。