论文部分内容阅读
近年来,国家启动建设了“智慧城市”、“平安城市”和“雪亮工程”等重大项目,中国的视频监控网络规模已经成为世界第一。大量监控设备带来了海量的视频信息,如何快速分析处理这些海量信息成为一个亟待解决的问题,人工查找费时费力,而且容易出错,因此,发展智能视频监控迫在眉睫。行人再识别是近年来智能视频监控分析领域的一项新技术,目的是在无重叠拍摄区域摄像机网络下实现目标行人检索,现已成为计算机视觉领域研究热点。现阶段,通过引入注意力机制、图像特征分割、三元组损失等方法,克服了低分辨率、姿态变化、视角差异、光照变化、遮挡、复杂背景、衣着差异等难题,限定域空间下的行人再识别已经基本得到解决,在Market1501、Duke MTMC-Re ID等常见数据集准确率达到95%以上。但是,开放域空间下的行人再识别还存在许多问题,主要难点是参与模型训练测试的行人图像无法涵盖开放环境下所有变化情况,为了解决这些差异性问题,学者们纷纷开始跨域行人再识别研究,已有的研究中,在Market1501数据集上域自适应方法的准确率仅有58.2%,基于迁移学习的方法准确率达到90%。由此可见,跨域行人再识别还有提升的空间,本文从特征设计、度量空间改进、特征二次编码等多个角度研究跨域行人再识别方法,主要内容和创新点如下:(1)针对行人特征受到跨域限制的问题,提出多视角特征跨域行人再识别模型。视角变化是影响行人再识别准确率的重要因素之一,不同视角下行人图像存在较大差异。基于认知神经学中的视角依赖理论和域泛化技术,本文提出一种多视角特征跨域行人再识别模型,将拍摄角度分为正面、侧面和背面三个标准视角,构建多视角行人再识别数据集,设计基于胶囊网络的模型结构,利用行人图像的视角分类损失函数和行人ID损失函数实现捕捉视角判别所需的相关特征和约束行人身份一致性,模拟人类的认知行为,生成视角相关而域无关的行人图像特征。实验表明,本文模型可以从行人图像中分离出四肢、头部和面部等有效信息,去除图像中的背景干扰,实现跨域行人再识别。(2)针对模型占用资源多的问题,提出多视角特征跨域行人再识别模型压缩方法。胶囊网络在实现跨域行人再识别时表现出良好的性能。但是,当输入空间维度较大时,胶囊网络无法有效降低特征维度,消耗大量计算资源,同时胶囊网络中动态路由算法的耦合系数也存在极小化趋势,不利于梯度信息反向传播。鉴于此,本文提出两种改进方案:一是提出深度多视角特征跨域行人再识别模型,在卷积特征层融合注意力机制,增加网络层数,重新设计数字胶囊层中动态路由算法的耦合系数生成函数;二是提出大小胶囊多视角特征跨域行人再识别模型,重新设计轻量化初级胶囊层,将胶囊分为大小不同的两种感受野,达到降维效果,进一步优化耦合系数生成函数,提高跨域行人再识别模型的实用性。(3)针对域泛化模型准确率不高的问题,提出基于迁移学习的强约束差异性空间跨域行人再识别模型。域泛化行人再识别模型具有很好域适应能力,但是准确率不高,主要问题是没有构造出不同行人图像识别域之间适合的公共特征空间。本文提出基于迁移学习的强约束差异性空间跨域行人再识别模型,将源域行人再识别知识迁移到目标域,有效构造源域和目标域行人图像适合的公共特征空间,解决DMMD模型构建的差异性空间对数据样本分布约束性不强问题。此外,还提出适用于增强特征鉴别力的外观时空关联损失函数,以及迁移学习的域自适应分类边界优化方法,提高跨域行人再识别算法在目标域的测试准确率。(4)针对现有模型生成的行人图像特征未被充分利用问题,提出多任务对比学习对抗自编码器。Rerank是一种针对行人再识别结果进行二次排序的方法,可以在已有行人再识别结果的基础上再次提高识别准确率,说明现有行人再识别模型生成的特征还未被充分利用,模型还有提升的空间。因此,本文融合Rerank算法和外观多属性行人再识别的思想,设计多任务对比学习对抗自编码器,对已生成的迁移学习行人再识别特征进行二次编码。首先,充分利用DG-Net++模型,将源域的行人外观特征迁移到目标域,生成目标域中的行人衣服颜色属性标签;其次,利用DBSCAN聚类算法生成目标域中行人图像的ID伪标签信息;最后,利用这两种标签信息,基于多任务对比学习设计改进对抗自编码器,对包括强约束差异性空间跨域行人再识别模型和DG-NET++等模型在内的已有模型生成的特征进行二次编码,提高模型准确率。