论文部分内容阅读
夜间车辆检测需要我们根据夜间场景图像预测车辆的类别以及位置。该任务在自动驾驶系统(ADS)和辅助驾驶系统(DAS)中扮演不可或缺的角色。然而,夜间车辆检测有以下几个难点:(1)由于夜间光照较低,车辆的视觉特征难以识别,这给基于视觉的方法带来了很大的挑战。(2)夜间场景中车辆具有较大的类内差异,譬如对向行驶的车的头灯为白色,而同方向行驶的车的尾灯为红色,这会加大特征表达的难度。(3)相比于白天车辆数据,夜间车辆的数据比较匮乏;但是白天场景和夜间场景的视觉特征差异很大,利用白天场景训练的模型无法直接应用于夜间场景。车灯和其相应的车身反光,本文统称为车辆高光,是夜间场景中值得信赖的视觉特征。因此,有效地利用车辆高光信息可以在性能上得到较大的改进。针对有充分标记训练数据的夜间车辆检测任务,本文提出了一种基于车辆高光信息的夜间车辆检测框架。首先,本文生成了一个高细粒度的车辆高光检测器,并创建了车辆标签层级结构,以扩大类间差异和减少类内差异。然后,本文提出了一种多尺度高光特征和车辆视觉特征的融合机制,以及一种端到端的高光融合网络。由于采用了独特的车辆高光融合机制,本文所提出的方法的性能优于目前最先进的方法。同时,本文的方法迁移到不同的主流检测网络后都有较大帮助,说明本文的方法的泛化性很强。另外,在无监督域适应的夜间场景任务中,本文引进循环生成对抗的思想来拉近源域和目标域的距离。本文提出的方法超越现有最先进的目标检测的域适应方法。本文的主要贡献有以下几点:1、本文提出了两种新的融合网络,这两种网络通过学习来自动平衡车辆高光和车辆自身不同层次的视觉特征的重要性,从而适应大多数情况,甚至可以容忍车辆高光检测的误差。另外,本文发现除了车灯,车身反光也可以提供丰富的车辆位置提示信息,因此额外考虑车身反光可以大幅提升夜间车辆检测的精确度。2、本文提出一个基于伪标签迭代训练的神经网络,为车辆以及车辆高光划分子类。子类标签和原类别标签共同构成标签层级。本文基于标签层级的训练机制可以解决类内差异大的问题。3、本文提出一个针对夜间车辆检测的域适应框架。本文把生成对抗思想引入到域适应中,从图像层次和目标层次拉近源域和目标域的距离。提出的方法超越现有最先进的目标检测的域适应方法。