论文部分内容阅读
行人重识别(Person Re-Identification,ReID)是利用计算机视觉方法判断图像或者视频序列中是否存在特定行人的技术,通常也被认为是图像检索的子问题。近年来深度学习在多个计算机视觉任务上都取得了极大的成功,基于深度学习的行人重识别技术在在安防、刑侦和智慧城市等许多领域得到广泛应用。行人重识别技术在无遮挡环境和遮挡环境两个不同场景下有不同的核心问题需要解决。无遮挡环境的标准行人重识别任务的核心问题在于如何提取鲁棒且丰富的图像特征。遮挡环境下的遮挡行人重识别任务的核心问题在于如何检测与匹配半身图(被遮挡的图像)和全身图(未被遮挡的图像)中共享的未遮挡区域。根据匹配过程中是否预先去除遮挡信息,遮挡行人重识别也被分为局部式和遮挡式行人重识别。本文基于深度学习技术,针对无遮挡环境的标准行人重识别和遮挡环境的遮挡行人重识别分别提出了相对应的方法,主要创新点包括:1.针对无遮挡场景的标准行人重识别,提出了基于局部信息动态匹配(Dynamically Matching Local Information,DMLI)的 AlignedReID++框架。DMLI 算法提取两幅图像的局部特征,并通过计算该矩阵的最短路径距离来自动对齐局部特征,提高对于行人姿态变化的鲁棒性。AlignedReID++将DMLI算法嵌入到深度网络的局部分支中,联合全局分支实现端到端训练框架,在克服行人姿态变化的同时保证算法计算效率。2.针对无遮挡场景的标准行人重识别,提出了强大基准网络模型。该基准网络设计BNNeck结构解决了训练阶段分类损失与度量损失不能同步收敛问题,结合一些常用的训练技巧,只使用图像全局特征取得了非常高的识别率与效率。此外,该基准网络还引入中心损失提升特征的类内紧致性和类间差异性。该基准模型能提升现有方法的性能,因此可以成为学界与业界新的研究基准。3.针对遮挡场景的局部式行人重识别,提出了基于空间转换网络(Spatial Transform Network,STN)的STNReID框架。在局部式行人重识别任务中,半身图中的遮挡信息被预先去除。STNReID包括STN模块和ReID模块,STN模块通过预测一组仿射变换参数从全身图中采样出一个区域来自动匹配半身图,ReID模块对图像提取全局特征来进行相似度度量。此外,双阶段训练策略能够进一步提升STNReID的性能。4.针对遮挡场景的遮挡式行人重识别,提出了基于互相关匹配的互相关注意力机制池化(Cross-Correlation Based Attention Pooling,CAP)算法。在遮挡式行人重识别任务中,半身图中的遮挡信息未被预先去除。CAP算法使用互相关操作对半身图和全身图的深度特征进行互卷积计算得到注意力图,该注意力图能够重点关注半身图与全身图之间共享的未遮挡区域。之后,CAP算法通过对未遮挡区域的局部特征给予较高权重的方式来弱化遮挡信息的影响,从而提升模型识别率。本文在标准行人重识别领域的研究成果已经在业界得到了广泛应用,在遮挡行人重识别领域进行了系统前沿探索研究。