论文部分内容阅读
车辆作为城市交通网络中的重要组成部分,成为当前智能交通系统内的重点研究对象。车辆重识别旨在对车辆身份进行识别,可以在大规模监控网络中搜索与指定车辆身份相同的车辆图像,对于交通治安人员搜索特定车辆、跨视图车辆跟踪和车辆行为分析等应用具有重要作用。当前车辆重识别研究主要基于道路监控相机进行,在地域限制和灵活性方面具有一定局限性,相比较之下,无人机机载相机平台由于具有极高的自由度,在车辆重识别领域具有重要研究价值。因此,本文基于无人机航拍图像对车辆重识别进行研究。
当前车辆重识别面临车辆图像视角各异、车辆特征表达的特异性不足和类内距离大于类间距离的困难样本识别难度大等挑战。针对以上挑战,本文对车辆视角信息的利用、车辆视觉特征的准确表达、困难样本的针对性学习进行研究,提出了一系列方法和模型。通过在基于无人机航拍图像的车辆重识别数据集上的大量实验,验证了所提方法的有效性和先进性。本文的主要研究内容和创新点如下:
(1)基于无人机航拍的大型车辆重识别数据集VeRi-UAV。当前基于无人机航拍图像的车辆重识别研究较少,并且基于航拍图像的车辆重识别数据集也较少。因此,本文构建了包含17,516个车辆样本的无人机航拍车辆重识别数据集,并进行了丰富的标注,为基于无人机航拍的车辆重识别研究提供数据基础。
(2)基于视角决策的复合匹配学习网络(View Decision Based Compound Match Learning,VD-CML)。针对航拍图像中车辆视角各异导致的跨视角样本识别困难,本文提出了基于视角决策的复合匹配学习网络,首先设计视角决策模型生成具有视角联系的样本对,然后构建具有多个视角分支的孪生网络,每个分支对与特定视角相关联的复合样本对的特异性特征进行学习,之后由多元复合损失函数对网络参数进行更新,得到最终的车辆重识别模型,有效提升了跨视角车辆样本重识别的准确率。
(3)基于姿态校准和困难样本感知的度量学习方法(Posture Calibration based Hard Samples Perceptive Metric Learning,PC-HSPML)。针对航拍图像中车辆姿态多变和困难样本识别率低,提出了一种新颖的基于姿态校准和困难样本感知的度量学习方法。该方法实现了从车辆检测、分割到重识别的完整框架,主要包括三个部分:首先以MaskR-CNN方法为基础,加入GA-RPN模块和ASPP模块以增强网络对不同车辆方向和不同尺度的适应性,得到精确度更高的车辆分割网络;然后设计了基于姿态校准的车辆特征提取网络,结合车辆分割网络得到的掩膜信息对车辆姿态进行校正,提取具有姿态不变性的特征表达;最后,提出了基于困难样本感知的度量学习方法训练重识别网络,该网络通过跨视角训练约束和困难样本搜索机制显著提高了跨视角样本和困难样本的重识别精度。
本文按照当前先进的车辆重识别研究的评估标准对所提方法进行了大量验证实验,并与多个近年内的先进方法进行比较,充分证明了本文方法的先进性与有效性。
当前车辆重识别面临车辆图像视角各异、车辆特征表达的特异性不足和类内距离大于类间距离的困难样本识别难度大等挑战。针对以上挑战,本文对车辆视角信息的利用、车辆视觉特征的准确表达、困难样本的针对性学习进行研究,提出了一系列方法和模型。通过在基于无人机航拍图像的车辆重识别数据集上的大量实验,验证了所提方法的有效性和先进性。本文的主要研究内容和创新点如下:
(1)基于无人机航拍的大型车辆重识别数据集VeRi-UAV。当前基于无人机航拍图像的车辆重识别研究较少,并且基于航拍图像的车辆重识别数据集也较少。因此,本文构建了包含17,516个车辆样本的无人机航拍车辆重识别数据集,并进行了丰富的标注,为基于无人机航拍的车辆重识别研究提供数据基础。
(2)基于视角决策的复合匹配学习网络(View Decision Based Compound Match Learning,VD-CML)。针对航拍图像中车辆视角各异导致的跨视角样本识别困难,本文提出了基于视角决策的复合匹配学习网络,首先设计视角决策模型生成具有视角联系的样本对,然后构建具有多个视角分支的孪生网络,每个分支对与特定视角相关联的复合样本对的特异性特征进行学习,之后由多元复合损失函数对网络参数进行更新,得到最终的车辆重识别模型,有效提升了跨视角车辆样本重识别的准确率。
(3)基于姿态校准和困难样本感知的度量学习方法(Posture Calibration based Hard Samples Perceptive Metric Learning,PC-HSPML)。针对航拍图像中车辆姿态多变和困难样本识别率低,提出了一种新颖的基于姿态校准和困难样本感知的度量学习方法。该方法实现了从车辆检测、分割到重识别的完整框架,主要包括三个部分:首先以MaskR-CNN方法为基础,加入GA-RPN模块和ASPP模块以增强网络对不同车辆方向和不同尺度的适应性,得到精确度更高的车辆分割网络;然后设计了基于姿态校准的车辆特征提取网络,结合车辆分割网络得到的掩膜信息对车辆姿态进行校正,提取具有姿态不变性的特征表达;最后,提出了基于困难样本感知的度量学习方法训练重识别网络,该网络通过跨视角训练约束和困难样本搜索机制显著提高了跨视角样本和困难样本的重识别精度。
本文按照当前先进的车辆重识别研究的评估标准对所提方法进行了大量验证实验,并与多个近年内的先进方法进行比较,充分证明了本文方法的先进性与有效性。