论文部分内容阅读
行人重识别技术是安防监控领域的关键性任务之一,是计算机视觉领域近年来深受关注的研究热点。在无重叠的视频监控网络中,对于摄像头中给定的某个行人,行人重识别的目标是检索到该行人在其他摄像头下出现的所有图片。作为自动识别目标行人的技术,行人重识别能够在安防监控系统中对感兴趣的个人进行快速定位,可以广泛应用于行为监控、分析和预警等实际问题中。随着大规模计算资源的提出,利用深度学习的方法自动学习特征用于分类识别,成为了学术界的研究热点,尤其是用深度神经网络提取行人的特征取得了比较好的效果。然而,深度神经网络对数据依赖程度较高,性能极大地依赖于高质量易区分和大规模的数据输入。由于摄像头视角引起的光照变化、角度变化、姿态、遮挡干扰等,行人的图片在不同摄像头下往往存在明显差异。同时,已有的行人重识别数据集的规模相比于其他分类数据集(如Imagenet等几百万张图片)更小,因此利用深度神经网络对行人做识别存在着更大的挑战。在有限的行人数据中提取足够具有区分度的特征,从而提升行人重识别的性能,成为亟待解决的的关键性问题。本文致力于探索行人重识别有效的深度学习框架,全方位的解决包括有监督学习下的特征提取,数据扩充,迁移学习,以及更具挑战性的无监督学习下的标签预测以及特征学习问题。本文的研究内容涵盖了行人重识别的两大分支,有监督学习和无监督学习。有监督学习包含标签信息可以有助于网络显式地学习特征表达,是我们的研究重点。我们从深度网络设计,有效数据扩充和重排序算法上进行了探索。无监督学习由于缺失标签,需要更为针对性的算法帮助网络训练,我们从标签预测方面进行探索。在有监督行人重识别方面,特征学习和重排序算法是研究者们广泛探索的问题。在特征提取算法上,我们提出了多重注意力机制下的时空域特征融合网络,用于解决基于视频的行人重识别问题。相比于基于非连续性的图片的行人重识别(往往更依赖于外貌特征做识别),基于行人视频的重识别算法由于包含更多的连续性样本,能够通过提供更可靠的序列化特征(如步态等)来更好的解决由遮挡等带来的挑战。此外,基于视频序列的行人重识别也更符合实际监控系统下的真实情况,具有较高的研究价值。因而我们主要对基于视频的行人重识别进行了探索。在研究其特征提取算法中,我们做了以下两方面的工作。(1)考虑到对行人的视频序列来讲,仅从空域特征(外貌,衣物颜色,纹理等)来进行表征是不够全面的,我们综合考虑行人序列的空域外貌特征和时域周期化特征来得到更全面的特征表达。为此,我们提出了时空域特征融合网络,其中包含卷积神经网络用于空域特征提取,以及递归神经网络用于时域特征提取,同时涉及残差层用于空时特征融合。(2)考虑到不同的行人序列数据来源于不同的摄像机镜头,数据间存在较大差异,用固定权重的特征融合框架并不能得到更好的特征表达。我们进一步地提出多重注意力机制,使网络能够自动分配重要性权重用于特征融合。在重排序算法上,我们提出了联合群组和个人信息的行人重排序算法。基于单人图片的重识别算法无法较好的处理遮挡等问题。而群组由于包含多个行人的交互信息,且在实际监控系统中较为常见,因此利用群组的共同行动所提供的信息可以解决一些单人的行人重识别所不能解决的问题,例如遮挡、形变等。基于此,我们利用群组排序的结果对单人重识别结果进行重排,得到更为准确的行人匹配结果。在应对输入数据对深度行人重识别网络影响方面,我们提出了针对性的数据生成方案。由于现有行人重识别数据集普遍过小,属于中小样本的行人细粒度分类问题,不足以满足深度网络训练要求,不充分的训练数据集会使得训练时准确率较高,测试时表现很差,引发过拟合现象。数据生成方法能够一定程度上解决过拟合的问题。针对行人重识别问题的额外数据扩充显得尤为重要。因此,我们基于深度生成对抗网络,从端到端的背景替换到视频帧预测网络,来部分地解决杂乱背景、有限数据对基于视频的行人重识别的影响。进一步地,这种网络间的对抗学习思想启发我们解决更具实用价值的从虚拟到现实的行人匹配问题。我们提出了基于对抗学习的多风格行人重识别网络。考虑到随着多媒体领域和计算机视觉技术的快速发展,智能安防监控对多摄像机网络布局下多模态下的行人重识别,特别是多风格行人图片的重识别,如从素描、肖像等到实际监控系统下行人图片的匹配,有着很大的需求和发展空间。传统行人重识别受限于不同摄像机视角下光线和行人姿势变化的挑战。多风格的行人重识别,除了数据量不足和特征提取算法方面的挑战,关键性问题还在于多源数据匹配的困难性。为此,在基于对抗学习的多风格行人重识别网络中引入了空间映射,对抗学习来消除多源数据空间的不一致问题,从而得到更好的识别性能。在重点研究了有监督学习网络和数据上的解决方案之后,进一步地,我们对挑战性的无监督跨域行人重识别进行标签预测方面的探索。对于有监督行人重识别,每个行人图像都包含了对应的标签,因此深度神经网络可以在标签信息的辅助下学习行人的语义区分性特征,实现分类。这种情况下,模型的性能往往依赖于行人训练数据的质量和标签的数量。然而,带标签的行人样本往往需要昂贵的人工进行标注。人工标注成本随着标注难度和精细程度成倍增加。因此,我们探索了根据类别未知(没有被标记)的训练样本解决行人识别的解决方案。相比于有监督学习,无监督学习促使我们设计算法驱动网络学习到数据间更为本质的特征用于匹配识别。在有监督学习中探索到的网络设计、数据生成方面的经验,帮助我们对无监督跨域行人重识别进行标签预测方面的探索。首先,我们提出了基于图神经网络的聚类模块,以及交替伪标签生成和行人识别网络更新的递进算法设计。考虑到现有的距离敏感的行人聚类方案局限于特定的手工参数设计,特征间的距离阈值设置极大地影响了最后的聚类和伪标签标记结果。我们采用图网络用于自适应地综合行人图片特征之间的信息,解除对参数的依赖,从而对未标签样本进行更准确的分类。此外,由于聚类和伪标签生成结果均基于行人图片所提取的特征,特征的准确度和伪标签生成之间存在相互依赖的关系,我们设计交替更新的算法用于基于图网络的聚类模块和行人重识别网络之间的相互促进,从而提升最后的性能。类似的,在无监督特征学习方面,我们提出了基于在线数据生成的行人标签预测及自动特征提取算法。考虑到数据扩充亦能帮助跨域无监督行人重识别网络学习数据间的一致性信息。更有效的在线数据生成方案引入分类损失帮助生成网络生成更适合分类的额外数据,用于数据扩充。反之,更有效地数据扩充能帮助识别网络学习更鲁棒的特征表达从而提升最终的识别性能。因此,我们引入在线数据生成方案帮助网络学习更优质的特征用于聚类得到伪标签,更准确的伪标签从而帮助识别网络的训练较大地提升了性能。综上所述,本文的研究内容关注于行人重识别的关键技术研究,着力探讨了有监督学习下的(1)多重注意力机制下时空域特征聚合、联合群组和个人信息的重排序算法设计;(2)基于对抗学习的辅助性数据生成和识别网络设计;以及无监督学习下的(3)基于图神经网络、在线数据生成等的跨域行人伪标签预测和识别。以上内容涵盖了行人重识别技术的多个方面,致力于全方位解决行人重识别的实际问题。遵循从有监督到无监督,各个突破的思路,从网络设计,数据扩充,重排序等的多重探索寻找行人识别性能提升突破点。多个技术之间循序渐进,各有交叉。体现在:网络设计和数据生成互相依存,有利于学习到更具区分度的行人特征,重排序算法依托于提取到的特征表达优化最终的行人匹配结果,而在有监督学习上探索到的有效策略,如数据扩充技术,往往能给无监督学习带来启发。无监督挖掘数据更本质的内在语义特征,则将行人重识别这个问题做了进一步延伸,降低了其局限性。整个研究形成了一体化循序渐进的算法框架,提供了较为全面的解决方案,对行人重识别的实际应用带来了一定的指导意义,为其在实际场景中的落地起到了一定推动作用。