基于多粒度姿态融合和重排序的行人重识别方法研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:tuwei0164
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为视频监控领域的关键应用之一,行人重识别技术能够快速对海量视频进行检索,减轻视频排查人员的负担。行人重识别旨在通过特征匹配来识别出跨摄像头下的目标行人。一方面,姿态、光照、遮挡和分辨率等视觉因素导致行人的外观产生巨大的变化,影响了行人重识别的精度。其中,姿态变化是最大的影响因素之一,针对姿态变化的研究是行人重识别领域的研究热点。然而,行人重识别的数据集缺乏定量的姿态标签,难以消除姿态变化带来的负面影响。另一方面,得益于神经网络的自动特征学习性质,行人重识别逐渐发展成两阶段的识别框架:特征学习和特征匹配。在特征匹配阶段使用重排序算法来检索行人能够提升正确匹配的排名,同时降低错误匹配的排名,因此重排序相关技术的研究对于行人重识别方法具有重要意义。特征匹配阶段通常会向用户返回一个包含成百上千个可能匹配的列表,用户需要手动判断正确的匹配。然而,初始排序列表中错误匹配的排名一般比较高,无法满足实际的需求。为了解决行人重识别中姿态变化以及错误匹配排名较高等问题,本文展开了相关研究,主要工作如下:1.在特征学习阶段,为了缓解姿态变化对行人特征表达的影响,提出了基于多粒度姿态融合的行人重识别模型(Multi-granularity Pose Fusion Net,MGPFNet)。首先,本文将视角划分为前后左右四个类别,并为三个大型行人重识别公开数据集提供了57,651个视角标签。然后,本文构建了基于解耦学习的特征蒸馏网络,将粗粒度的视角和细粒度的姿态关键点融合为多粒度的姿态。模型利用多粒度姿态信息将姿态因子从耦合的行人特征中解离出去,显式地消除姿态变化的影响。在测试阶段,无需输入额外的姿态信息。实验部分从四个方面验证了多粒度姿态融合的有效性,包括可视化生成图像、可视化图像的特征图、可视化排序列表以及与三种类型的行人重识别模型的性能做对比。2.在特征匹配阶段,为了充分利用上下文信息以优化排序列表,本文提出了基于增量式重排序的行人重识别方法(Incremental Re-ranking,IRR)。首先,计算行人图像样本对之间的特征匹配度,得到初始排序列表。其次,利用上下文信息将行人的相似度更新为上下文相似度,其中上下文信息为样本的近邻结构,上下文相似度即近邻结构的相似度。然后,根据新的相似度度量计算样本对的匹配度,得到新的排序列表。最后,继续迭代式地使用更多的上下文信息来更新样本对的相似度,得到最终的排序列表。在实验部分,本文比较了增量式重排序与行人重识别中最优的重排序算法在三个数据集和六种特征上的识别结果,并且可视化了排序列表。实验结果表明增量式重排序方法IRR对排序列表的提升较大。3.在特征匹配阶段,为了挖掘深度特征带来的排序多样性,本文提出了基于深度特征融合重排序的行人重识别方法(Deep Feature Fusion,DFF)。首先,对从全连接层中提取出来的行人特征进行切分,得到多个子特征。其次,分别根据子特征计算样本对之间的相似度,得到多种相似度度量,同时将每个相似度度量建模为一个加权亲和图。然后,利用马尔科夫过程在多个加权亲和图上传播相似度信息,得到融合扩散后的相似度度量。最后,根据新的相似度度量计算样本对之间的匹配度,得到最终的排序列表。实验部分通过比较深度特征融合重排序与其他重排序算法在三个数据集和六种特征上的识别结果,以及对相似度分布进行可视化,验证了深度特征融合重排序方法DFF能够有效提升排序列表的准确度。
其他文献
随着工业4.0以及中国智能制造2025的快速推进,视觉测量方法的应用越来越广泛,视觉测量精度取决于摄像机的标定精度,传统视觉测量标定方法采用张氏标定法,该方法为离线标定无
分离定理是泛函分析和优化理论的基石.经典凸集分离定理在凸分析和凸优化理论中发挥着巨大的作用.对于非凸集情况,一些学者通过所涉及集合的法锥建立了各种“Fuzzy”分离定理,极点原理就是这样的“Fuzzy”分离定理,后来又建立了各种确切(“Exact”)分离定理.本文主要讨论Aspplund空间中有限多个不相交闭集关于Fre-chet法锥的确切分离定理.考虑到已有的确切分离结果要求紧性这一强的限制条件
程序规约在软件工程中具有重要作用,它是对程序性质的形式化描述,可以帮助程序分析工具理解复杂程序的语义。随着程序库在软件开发过程中的广泛使用,为程序库API生成程序规约
当今时代,随着身份识别方面的需求应用越来越多,如何准确快速的鉴定个人身份的同时,保护个人的信息安全,是当前必须解决的关键性问题之一。手背静脉识别技术,对身份信息的识
三维重建能够反映图像中完整的场景信息,在工业自动化、虚拟现实应用、视觉导航等领域应用广泛,因此三维重建技术逐渐成为新的研究热点和需求。目前基于立体视觉的三维重建存
进入信息化时代,人们对增强现实、虚拟现实等新兴人机交互技术和机器人技术的需求越来越多。作为这些技术的一环,手部姿态估计在其中起着重要的作用。近年来,随着商用深度传
传动装置是车辆的重要组成系统,零部件数量多,装配工艺复杂。基于虚拟现实进行传动装置的装配性能仿真是传动装置设计的重要组成部分。目前,已有虚拟装配系统仅支持装配关系预先设定的装配,不支持基于零件结构特征的装配关系实时建模的装配仿真;仅基于面片模型进行装配,无法保证传动装置装配精度,无法实现虚拟装配与动力学实时仿真的集成。本文提出了一种基于装配特征的传动装置轴系零件装配建模方法。从零件层、特征层、几何
近年来,有机光功能材料由于其优良的光电性能以及在纳米光子学中的潜在应用受到了人们日益广泛的关注。通过有效的合成策略,制备理想结构的有机纳米材料,并最终实现器件化,已成为当前有机纳米材料研究领域的一个热点问题。本文选取了几种典型的有机光功能材料,研究了有机纳米材料的制备方法、生长机理及结构调控,研究范围从低维结构体系、复杂结构体系、到二元复合体系。同时系统地研究了这些有机纳米结构的光学性能,并且拓展
假肢作为帮助患者恢复运动能力以及提升患者生活水平的重要手段被广泛研究,传统的下肢假肢主要由接受腔及机械装置组成,患者在穿戴此种假肢行走的过程中,往往会因为残肢与接
玩家形成游戏关联内容是指由游戏玩家生成的与游戏本身具有关联性的那部分内容,不仅包括游戏过程中生成的虚拟物,如由服务商提供的道具形成的游戏人物画面,游戏界面,虚拟空间