论文部分内容阅读
智能交通系统Intelligent Transportation System(ITS)是保证城市车辆安全、平稳运行的关键系统之一。车辆再识别Re-Identification(Re-Id)是一项重要的工作,其定义为识别不同监控摄像头拍摄的不重叠视野图像中的车辆。换言之,一个摄像头中捕捉到的某个车辆是否出现在多个摄像网络中。随着对自动化视频分析需求的不断增加,车辆再识别正受到越来越多的关注。它能支持许多关键应用,如智能停车、可疑车辆跟踪、车辆事件检测、跨摄像头识别、道路通行限制管理系统和自动收费等。在过去的几年中,各种强大的计算机视觉方法被用来分析车辆再识别任务中监控摄像机的视频。然而,由于需求的特殊性,研究人员在设计鲁棒高效的模型来解决相关问题时面临着很大的挑战,比如类间相似度、视点变化、部分遮挡、类内可变性、背景杂波和跨数据集的车辆再识别等问题;当前提出的模型并不能十分有效地处理上述问题。本文旨在探索解决该问题的不同方法,基于深度学习的技术以获得更好的车辆再识别性能。首先,我们改进了一个快速的交通监控模型来识别摄像网络中发现的不同类型的车辆。采用深卷积神经网络Convolutional Neural Network(CNN)模型Inception-v3进行视觉特征向量的提取,迁移学习的方法使得模型的学习过程快速化、大幅缩小了训练时间。为了利用特征向量对各类车型进行分类,本文研究并实现了三种不同的车型识别算法(小型、中型和大型)。在对车辆类型进行区分后,特征提取与选择是车辆再识别任务的关键环节。为了解决这一问题,我们的第二个贡献是利用全局区域通道和局部区域通道进行信息特征的提取与选择。全局区域通道从整张车辆图像中提取特征向量,而局部区域通道从同一图像的不同区域中提取更具鉴别性和显著性的特征。此外,还整合了车辆的模型、类型和颜色等属性。我们提出的方法分两步对车辆进行再识别:首先,根据外观从一个图库集合中筛选出车辆,然后对筛选出的车辆进行验证,以确定目标车辆。针对有偏车辆再识别数据集的处理,以前的方法执行效果不理想。然而,人们已经注意到,大多数可用的数据集都是存在偏向性且相互关联的,这导致模型高度拟合。因此处理这种有偏向性的数据集已经成为一项非常重要的任务。作为第三个贡献,为了研究车辆Re-Id数据集的偏向性问题,我们首先创建了由不同的车辆Re-Id数据集组成的聚合数据集,其中新数据集中的每个图像都用与父数据集名称相同的标志进行标注,然后,使用深度CNN模型Inception-v3,通过对最后一层进行微调来对Re-Id数据集进行分类。数据集分类结果也验证了算法的假设,表明当前可用的数据集具有高度偏向性。为了解决这一问题,,我们提出了一种新的数据增强技术,通过在训练集中插入一种额外的可变类型,不需要任何复杂的计算过程。最后,我们观察到大多数车辆再识别方法都是在一个单独的数据集上进行评估的,包括模型的训练和测试。然而,训练数据和测试数据之间存在的显著差异对模型的泛化能力产生了负面影响。因此,该模型在现实环境中变得不切实际。为了证明数据集偏向性问题的影响,我们对现有方法对跨数据集车辆Re-Id进行了深入的研究发现现有方法的性能在跨数据集车辆Re-Id上精度不佳。针对这个问题,我们提出了一种利用时空信息和带外观的迁移学习技术快速找到精确匹配的方法,通过在训练过程中增加数据量,而未标记目标数据集的时空模式则是利用迁移在源标记数据集上训练的孪生神经网络Siamese Neural Network(SNN)分类器来学习的。最后计算基于SNN分类器的视觉特征计算的时空模式的综合相似度得分。本文提出的所有方法都是在公开的基准数据集上进行评估的,与现有的最新方法相比,本文的方法更加有效。