论文部分内容阅读
行人重识别是视频监控领域中的一项重要研究任务。作为一个实例级的识别问题,行人重识别依赖于识别特征。近年来,注意力模型越来越多地应用到了计算机视觉的各个领域中,注意力模型能着重学习输入信号中信息最丰富的部分,能有效地改善网络对于行人特征的学习能力,使得特征提取网络关注行人图像中更具有判别性的特征。现有的算法往往都只使用单一的注意力,忽略了不同注意力网络的互补作用,本文以注意力模型为核心分别对基于图像的行人重识别和基于视频的行人重识别展开了研究,提出了两种新型的基于多注意力模型的网络。
首先,针对基于图像的行人重识别,本文设计了一种多注意力联合学习网络。此网络以ResNet50作为主干网络,在主干网络中嵌入Soft注意力模块和高阶注意力模块,同时增加了两种尺度的局部特征提取网络,组合成了多注意力联合学习网络,获得了更具判别力的行人特征表示。利用Market1501和DukeMTMC-ReID数据集对多注意力联合学习网络进行实验评估,实验结果表明了本文提出的多注意力联合学习网络比原始ResNet50网络两个数据集上Rank-1和mAP指标上都得到了较大提升,并且优于目前绝大多数主流算法。
另外,针对基于视频的行人重识别,本文设计了一种融合多注意力异构网络。此网络以OSNet作为主干网络,在主干网络中嵌入了Soft注意力模块和非局部注意力模块,同时增加了特定的局部特征提取网络,增强了网络对于视频序列的时空信息和局部特征的学习能力。利用Mars和DukeMTMC-VideoReID数据集对融合多注意力异构网络进行实验评估,实验结果表明了本文提出的融合多注意力的异构网络比原始OSNet网络在两个数据集上Rank-1和mAP指标上都得到了一定提升,并且在当前先进算法中具有一定的竞争力。
首先,针对基于图像的行人重识别,本文设计了一种多注意力联合学习网络。此网络以ResNet50作为主干网络,在主干网络中嵌入Soft注意力模块和高阶注意力模块,同时增加了两种尺度的局部特征提取网络,组合成了多注意力联合学习网络,获得了更具判别力的行人特征表示。利用Market1501和DukeMTMC-ReID数据集对多注意力联合学习网络进行实验评估,实验结果表明了本文提出的多注意力联合学习网络比原始ResNet50网络两个数据集上Rank-1和mAP指标上都得到了较大提升,并且优于目前绝大多数主流算法。
另外,针对基于视频的行人重识别,本文设计了一种融合多注意力异构网络。此网络以OSNet作为主干网络,在主干网络中嵌入了Soft注意力模块和非局部注意力模块,同时增加了特定的局部特征提取网络,增强了网络对于视频序列的时空信息和局部特征的学习能力。利用Mars和DukeMTMC-VideoReID数据集对融合多注意力异构网络进行实验评估,实验结果表明了本文提出的融合多注意力的异构网络比原始OSNet网络在两个数据集上Rank-1和mAP指标上都得到了一定提升,并且在当前先进算法中具有一定的竞争力。