论文部分内容阅读
交通视频监控主要用于交通的控制和安全,因此它对当前公共交通系统产生越来越大的影响。在视频中,车辆是城市监控系统中的重要目标。在过去的十年中,与车辆相关的研究逐渐成为热点话题,例如车辆检测、分类、分割等都取得了很大的发展。与这些任务不同的是,车辆重识别是在多个视域非重叠摄像头捕获的图片中精确匹配特定的车辆。利用车辆重识别算法可以自动执行图像匹配的工作,节省人工且耗时少,这在构建智慧城市、安全城市中起着至关重要的作用。随着深度学习的发展,相较于使用传统特征或者利用传感器的方法进行图片匹配,使用卷积神经网络提取高维特征进行重识别模型的训练已经成为了发展趋势。然而,这类方法仍面临着一些问题,本文主要围绕以下三个问题进行了讨论:一是有效的提取关键特征,二是提高模型的泛化能力,三是缺失标注时的模型训练问题。因此,针对以上问题,本文提出了以下解决方法:(1)针对提取有效车辆特征的问题,本文提出了一种多区域感知模型,该模型除提取全局特征外,还从一系列的局部区域中提取细节特征。与直接分割图片提取局部特征不同的是,本文引入基于空间变换网络的定位模型自动定位局部区域,从而使得到的信息包含更多独特的视觉线索。在获得特征表达后,为进一步提高重识别的准确率,本文还提出了一种基于上下文的排名方法,该方法通过考虑邻域之间的相似性生成二次排名列表以优化重识别的结果。为验证提出的方法的有效性,本文设计了大量的对比消融实验,从实验结果可以看出,本文方法在多个数据集上的准确率均有提高。(2)针对在跨域情况下模型泛化能力低的问题,尤其是在无微调网络的前提下,当重识别模型在一个域上进行训练,而在另一个域上进行测试时出现准确率明显下降的情况,本文提出了一种域自适应框架,该框架通过源域和目标域之间的风格转换,从而缩小域偏差。首先,在不需要任何标注的前提下,利用一个端到端的的双分支对抗性网络用于不同域之间的风格转换。该网络可以让源域具有标记的图像学习目标域中未标记图像的风格,并且可以保留图像转换前在源域中的身份信息,以此平滑域偏差。在特征训练阶段,为更好的抑制背景信息而突出前景信息,本文提出了基于注意力的特征学习网络来训练车辆重识别模型。利用该网络训练得到的重识别模型可以更好的适应各种不同的场景。为验证方法的有效性,本文在现有的公开数据集上设计了大量的实验,实验结果也表明了本文提出的域自适应框架可以在一定程度上平滑域偏差,提高模型的泛化能力。(3)针对目标域因缺少标签而无法直接优化车辆重识别模型的问题,本文提出了一种用于车辆重识别的渐进式自适应学习方法,该方法旨在从大量无标签数据中推断出图像与图像之间的关系以探索未知的目标域。为更有效的利用已有标注的数据,本文首先生成与目标域具有相似数据分布的图像作为“伪目标样本”。这些伪样本将与通过动态采样策略选择的未标记样本组合在一起,共同训练车辆重识别模型。对于无标签样本,考虑到聚类结果的不准确性,本文还提出了加权标签平滑损失,把样本与各聚类中心的距离作为伪标签的权重,建立样本与所有聚类中心的距离分布,从而达到降低因伪标签的不确定性造成的训练误差的目的。通过迭代、交替进行训练模型和聚类两个步骤,使得重识别模型逐渐适应目标域,并且从实验结果中,也可以看出,随着迭代次数的增加,重识别模型的准确率也有一定的提高。(4)针对目标域因缺少标签而无法直接优化车辆重识别模型的问题,本文还提出了一种基于自适应多标签学习的跨域车辆重识别方法。与现有方法不同的是,该方法考虑到多视角问题,即对相同的事物,可以从多个角度进行描述。自适应多标签学习的无监督车辆重识别方法利用未标记样本的潜在相似性,利用焦点遮挡网络生成多种特征,并利用这些特征从不同的视角自动构建多个聚类。所以,对于目标域中的任何一张车辆图片,可以根据聚类结果分配多个不同的标签用于训练车辆重识别模型。重复进行聚类和训练过程直到重识别模型稳定为止。此外,为了在车辆重识别任务中获得最佳性能,考虑到伪标签的可靠性不高,本文提出了困难三元组中心损失,与三元组损失不同的是,该损失不仅考虑了样本与样本之间的差异,也考虑了聚类后的簇与簇之间的差异,从而可以更好地训练适应未知域的无监督车辆重识别模型。最后,为验证提出的方法的有效性,本文在由真实视频监控中检测到的大量车辆图像构成的车辆重识别数据集上进行了验证,与只进行单视角聚类的方法相比,本文的方法在不同的数据集上准确率都有提升。