行人再识别是智能监控系统中一个重要的应用,其具体指在跨一对或多对摄像头的情况下将同一行人识别出来。在多摄像头监控环境下的目标追踪系统中,同摄像头内的目标可以依靠跟踪技术确定追踪目标的身份,但是在跨摄像头的情况下,甚至是跨无重叠视域摄像头时,需要依赖行人再识别技术,其补足了监控环境下的目标追踪系统中跨境再识别的技术空白。由于行人图像的分辨率变化大、行人姿势不断变化、监控背景变化大、拍摄角度不一致以及照明条件差等原因,行人再识别既具有重要研究意义又面临众多挑战,是目前计算机视觉领域中的研究热点和难点问题。论文主要研究在深度学习框架下的行人再识别中,多类型行人特征的融合机制,即如何通过多类型的深度特征融合,提高现有行人再识别网络的精度。融合多类型深度特征的目的是为了应对目前行人再识别中的难点,如光照变化、遮挡、姿态变化等等。主要研究成果包含如下:(1)在深度学习的框架下研究行人外观特征和属性特征的融合机制,针对现有融合属性的行人再识别网络特征判别力不足的问题,在深度学习框架下提出一种基于困难样本三元组损失的多任务行人再识别(TriHard loss based multi-task person re-identification,THM)网络,以同时学习身份和属性边界的方式获得更多的行人判别信息。首先将预处理后的图片输入预训练的ResNet-50模型中提取行人特征信息,然后将其特征输入所设计的多任务网络,通过最小化身份和属性联合三元组损失调整网络模型参数,共同完成行人身份和属性判别双分支网络的训练,最后用训练好的模型提取行人特征用于行人再识别任务,同时实现行人属性的判断。最终在Market-1501数据集上得到了Rank-1/mAP为91.7%/87.9%的结果,在DukeMTMC-reID数据集上得到了Rank-1/mAP为85.4%/81.6%的结果,说明该网络能有效提升行人特征的判别力。(2)在深度学习的框架下研究行人外观特征和姿态特征的融合机制,针对由视角和行人姿态的变化等因素引起额行人不同图像类间差异大的问题,为提高行人姿态变化下的行人再识别性能提出通道互注意机制下的部位对齐行人再识别(Correlation Channel-wise based Part Aligned Representations for person re-identification,CCPAR)网络。首先行人图像通过两个子网络,分别提取行人的外观特征和部位特征,然后设计一个通道互注意模块,通过挖掘行人部位特征通道间的互相关系来优化部位特征在通道维度上的权重,最后将优化后的行人部位特征和外观特征通过双线性池化进行特征融合。最终在Market-1501数据集上得到了Rank-1/mAP为93.9%/90.6%的结果,在DukeMTMC-reID数据集上得到了Rank-1/mAP为87.6%/83.3%的结果,在CUHK03数据集上得到了Rank-1/mAP为70.4%/72.8%的结果,说明通道互注意机制能有效优化部位特征通道权重。(3)在深度学习的框架下研究行人外观特征和语义特征的融合机制,为减轻行人图片中的背景干扰,使网络着重于行人前景并且提高前景中人体部位的利用率,提出引入语义部位约束的行人再识别(Semantic Part Constraint for Person Re-identification,SPC)网络。首先将行人图片同时输入主干网络和语义部位分割网络,分别得到行人特征图和部位分割图,然后将部位分割图与行人特征图融合得到语义部位特征,再对行人特征图进行池化得到全局特征,最后同时使用身份约束和语义部位约束训练网络。最终在不重排序情况下,Market-1501数据集上得到了Rank-1/mAP为93.6%/83.6%的结果,DukeMTMC-reID数据集上得到了Rank-1/mAP为85.4%/71.3%的结果,说明该网络在语义部位约束下能保持较高精度。