论文部分内容阅读
行人再识别(Person Re-identification,Reid)是当今摄像机网络的普及衍生出来的行人监测的任务之一,随着深度学习的快速发展,行人再识别技术也演变为计算机视觉领域的重要挑战。在摄像机网络的应用中,失踪人员的搜索,犯罪人员的追捕,嫌疑人员的调查都有着重要的实际意义,然而摄像机网络获取的行人图像与视频,普遍面临着行人像素较低,因而广泛应用于人员识别的人脸识别手段并不适用,由此便产生了基于低分辨率行人图像或视频进行的行人再识别任务。目前基于深度学习的行人再识别算法已经在一些行人数据集上得到了很好的成果,相比传统方法而言取得了很大的提高,然而在现实中面临更复杂情景下的行人时,现有行人再识别技术仍然面临着许多问题。首先,现有行人数据集的规模仍然不够,行人样本数量不足以达到更好的行人再识别效果;其次,行人样本间存在着多种姿态,同一身份行人姿态的不对齐导致深度神经网络难以从其中提取统一的特征信息以保证正确的分类结果。因此近年来,生成对抗网络(Generative Adversarial Network,GAN)被用于行人样本的预处理工作,通过行人姿态转换进行扩充数据集以及行人姿态归一化等方法,逐一解决行人再识别面临的以上问题。使用生成对抗网络生成特定的行人样本,是行人再识别技术的辅助工作之一。首先通过行人姿势关键点预测与行人姿势估计手段获取行人的姿势信息,继而基于生成对抗网络,使用行人样本与行人姿态生成同一身份非同一姿态的虚假行人样本,达到扩充行人姿态或者行人姿态对齐的目的。但是行人样本生成任务同样面临着亟待解决的问题。首先,行人数据集中的行人样本除了行人部份外,还有着复杂的背景信息,这一部分信息可能会干扰行人的生成结果;其次,现有行人姿势估计手段获取的行人姿态存在着一定的错误率,这会严重影响生成和对抗网络训练效果的可靠性。本文通过使用基于语义分割技术的行人分割方法,获取行人数据集的分割掩模,利用行人样本分割掩模分别实现了获取行人姿态方法的优化以及行人姿态转换样本生成的优化。本文首先通过使用行人分割技术,获取行人数据集中行人图像的二值化分割掩模。利用行人分割掩模获取无背景行人图像后,采取了使用生成对抗网络进行无背景行人图像的姿态转换工作。其后为解决行人姿势估计方法获取的行人姿势掩模错误问题,提出了使用行人分割掩模引导的行人姿势掩模修正方法。通过利用行人分割掩模蕴含的行人轮廓信息以及隐含的行人姿势信息来修正错误的行人姿势掩模,并使用生成对抗网络获取两者间的映射关系,达到使用任意正确的行人姿势掩模,可以根据输入的行人分割掩模生成更准确的行人姿势掩模的效果,继而使用生成图像取代原有的错误行人姿势掩模。而针对使用行人姿势掩模引导的行人姿态转换方法生成的行人图像体态不准确的问题,本文提出了使用行人分割掩模引导的行人姿态转换方案,利用此方法可以生成准确的行人轮廓,并且无背景的生成样本,其生成结果可以利用背景掩模将背景还原,达到保留更多有效信息的效果。最后,落实到行人再识别技术的优化,本文采取了将生成对抗网络与预训练的行人再识别网络进行串联,将生成的假样本传入再识别模块,获取再识别损失(Reid_loss),引导生成器进行优化,以生成更有利于行人再识别网络的行人样本。在这些工作的基础上,本文使用改进后的行人姿态转换方法,通过扩充数据集以及姿态归一化两种手段,对行人再识别工作结果进行优化。总的来说,本文为使用生成对抗网络的行人姿态转换方法提出新的思路,并通过大量实验证实文中方法的合理性与可靠性。