论文部分内容阅读
行人重识别是指根据输入行人图像在监控网络中搜索该行人的其他图像。该技术在嫌疑目标搜索、失踪人员查找以及跨摄像头目标跟踪领域有广泛的应用前景,并逐渐成为计算机视觉领域的研究热点。由于在实际监控场景下,人脸等生物特征通常无法被有效捕捉,因此目前行人重识别主要依据行人的外观信息,如衣服颜色、服装类型以及体态特征等。行人重识别任务的核心难点在于,受摄像机视点变化、行人姿态变化、场景亮度变化等因素的影响,同一行人被不同摄像头拍到的图像差异会很大。针对该难点,本文主要从度量学习的角度入手开展研究,即在给定行人特征的条件下,如何学习得到一个鲁棒的距离函数,使其能够真实反应行人图像身份的差异。首先,本文根据行人重识别任务中更加关注检索列表顶部图像是否正确的实际特点,提出一种顶部优先型排序损失,用于衡量当前排序列表与目标排序列表之间的差异。该损失函数对于发生在列表顶部的错排惩罚较大,而对发生在列表尾部的错排惩罚较小,真实反应了行人重识别任务的实际特点。我们进一步基于该损失函数提出一种结构化输出度量学习算法,并将其用于行人重识别任务。实验结果表明,基于顶部优先型排序损失的度量学习算法能够有效提升行人重识别性能。其次,传统方法仅使用图像间的相似/不相似性标记来学习距离函数,没有利用图像间隐式存在的相对相似性关系。在本文中,我们将图像间的相似性分为内容相似性和上下文相似性,其中内容相似性衡量两幅图像的外观相似程度,而上下文相似性衡量两幅图像近邻结构之间的相似程度。为了充分利用图像间隐式存在的相对相似性关系,本文提出一种基于上下文相似性正则的度量学习方法。该方法希望在目标距离函数下,同类样本不仅要在内容上相似,还要共享相似的近邻结构。在多个公开数据集上的实验结果表明本方法能有效提升行人重识别性能。再次,本文在总结传统度量学习策略的基础上,提出在目标距离函数下样本分布应该满足类内紧凑性,类间可分性和强泛化性三个特点。并指出当前的度量学习算法可以从两个角度加以改进,即最小化类内距离以提升类内紧凑性,同时最大化最小类间间隔以提升泛化能力。本文将以上目标转换为等距嵌入约束,并提出基于等距嵌入约束的度量学习方法。该方法希望在目标空间内,类内距离为0,类间距离相等。我们使用平方损失构建目标函数,并通过显性施加半正定性约束,将原问题建模为一个凸优化问题,利用投影梯度下降法求解。实验结果表明,该方法虽然简单但非常有效。最后,为解决传统基于度量学习的行人重识别方法没有对图像特征和距离函数进行联合优化的问题,本文提出一种基于深度度量学习的行人重识别算法。该算法使用多尺度多部件子网络提取图像特征,使用余弦函数计算图像相似性,并使用基于自适应间隔的排序损失对模型进行端到端训练。基于自适应间隔的排序损失能够自动给难例负样本设置大的间隔参数,给易分负样本设置小的间隔参数,从而在训练过程中更多地利用难例负样本信息,避免了手动难例挖掘的过程。