行人重识别若干问题的研究

来源 :电子科技大学 | 被引量 : 6次 | 上传用户:benben8383
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
行人重识别是计算机视觉、机器学习、人工智能等领域的重点研究方向。该方向的主要任务是,在无重叠视域的多摄像机监控系统中,给定一个摄像机拍摄的某行人的图像或视频,根据行人外观从其它摄像机拍摄的图像或视频中重新识别出该行人。行人重识别技术的研究成果广泛应用于智能视频监控和智能安保等领域。然而,在实际环境中,由于光照变化、视角改变、姿态差异、遮挡等复杂干扰的影响,导致同一行人在不同监控视频中的外观差异很大,仍然存在诸多亟待解决的问题:(1)在特征提取阶段和距离度量阶段无法完全消除各类复杂干扰的影响,如何通过改进行人匹配过程来减少复杂干扰的影响。(2)如何通过关注和比较一系列显著区域来提高重识别精度,同时有利于减少遮挡和杂乱背景的影响。(3)拍摄视角不同和姿态变化会导致图像对的空间不对齐问题,如何通过学习自适应局部区域对齐过程,减少不对齐问题的影响。(4)在实际应用中大量标记成对样本耗时耗力,如何在完全未标注样本的场景中,有效实现无监督行人重识别。针对上述四个问题,本文提出了相应的解决方法,它们的主要贡献总结如下:(1)为解决复杂干扰问题,本文提出了基于最优化组织多相似度度量的行人重识别方法。首先提出一种视觉状况一致性评估方法,用来评估图像对和部件对的视觉状况差异。然后,将原始训练集划分为行人整体和多个人体部件的训练子集,并基于视觉状况一致性评估将每个训练子集划分为三个子类,在每个子类中采用多种相似度度量方法进行训练,最终学习到特定视觉一致性条件下特定人体部件的最优相似度度量。在测试阶段,对于任意输入图像对,该方法能够根据图像对在整体和部件的视觉状况一致性评估结果,自适应地选择多相似度度量方法并优化组织它们来执行行人匹配。实验表明,该方法通过有区分地对待具有不同视觉状况的图像对来改进匹配过程,能够有效减少各类复杂干扰的影响。(2)为充分利用显著区域序列在行人匹配中的重要性,本文提出了基于视觉共同注意力机制的回复式行人重识别方法。首先,该方法旨在模拟人类在比较和匹配行人图像对时的眼跳机制,利用基于循环神经网络的强化学习系统,将视觉共同注意力机制的建模问题,转化为强化学习智能体与图像对进行动态交互的序列决策问题。然后,智能体关注图像对相同位置的显著区域序列,每个时刻的关注区域由上一时刻的关注信息决定,并通过奖励函数的奖励或惩罚来优化关注序列。最后,利用联合特征来学习智能体的识别行为和三元组排序行为。实验表明,该方法能够根据图像对自身特性,自适应地关注图像对的显著区域序列,有效减少遮挡和杂乱背景的干扰。(3)为解决行人图像对的不对齐问题,本文提出了基于空间对齐学习匹配网络的行人重识别方法,将局部序列特征学习和空间对齐学习结合到一个端到端的框架中。首先,采用卷积神经网络提取序列的局部区域特征,并通过循环神经网络来记忆局部序列特征。然后,提出了一个空间对齐网络来执行图像对局部序列区域的对齐学习。该对齐网络不仅可以通过学习定位策略来决定在每个时间步关注其中一张图像特定区域的特定特征信息,还可以通过该图像和另一图像的局部区域内部特征表达交互而自适应地搜寻到另一图像的对应局部区域。最后,重复上述局部对齐过程,并将最终时刻的内部特征表达输入到损失函数从而更新网络。实验表明,对于具有不同对齐问题的行人图像对,该方法能够自适应地进行局部区域的空间对齐学习,有效减少空间不对齐问题的影响。(4)为解决监控数据增长带来的样本标注问题,本文提出了基于多层次语义特征聚类的无监督行人重识别方法,不仅将特征学习和图像聚类学习结合到一个端到端的深度框架中,而且充分利用了不同层次的抽象语义特征对于图像匹配的互补线索。首先,该方法将每张图像视为单独的簇并以簇类别为监督信号,通过卷积神经网络(CNN)提取行人图像的多层次语义特征。然后,通过聚类规则将相似的簇合并为新簇,再将新簇类别作为下一轮CNN训练的监督信号,用以学习更具有识别力的图像特征。最后,迭代上述特征提取和图像聚类两个步骤,并利用逻辑斯谛目标函数引导特征学习和图像聚类在优化过程中相互促进,直到聚类过程收敛,该目标函数使得类间样本尽量远离、类内样本尽量聚集。实验验证了该无监督方法的有效性,能够在没有标注样本指引时,利用图像内在的类内几何关系,提取行人图像具有识别力的多层次语义特征。综上所述,本文通过对行人重识别任务面临的技术瓶颈进行深入分析,从解决不同问题的角度出发,进行了优化组织多相似度度量、自适应关注显著区域序列、局部空间对齐学习、基于聚类的无监督学习等方法的研究,有利于行人重识别领域的发展,具有一定的理论意义与应用价值。
其他文献
目的:本研究以维吾尔族妇女宫颈癌为对象,从肿瘤组织和细胞水平上,明确宫颈癌发生、扩散及转移与肽基脯氨酰同分异构酶(peptidyl-prolyl cis-trans isomerase,Pinl)可能诱导
以山西省南部一高瓦斯低渗透性厚煤层回采工作面为研究对象,采用理论分析、数值计算相结合的研究方法,对回采工作面采场上覆岩层“三带”分布进行了研究,确定了裂隙带高度,并在此
本文通过工程机械司机室的造型设计,提出重视研究人体工程学的问题,并介绍了人体工程学对司机室设计的要求。对于司机室的宜人性、操纵控制台和操纵机构对人体的影响作了比较
<正>《刘贺证史——海昏出土的西汉记忆》(江西教育出版社2016年8月出版)是江西教育出版社继出版海昏侯主题图书《发现海昏侯》之后推出的又一佳作。作者刘胜兰以刘贺的人生
大气污染给人们的生产生活带来了极大的负面影响,解决大气污染问题迫在眉睫。调研预测大气环境污染物对于掌握大气环境状况,提出有针对性的大气污染防治措施具有重大意义。根据《环境空气质量标准》,结合《环境空气质量评价技术规范(试行)》等方法,对潍坊近10年来环境空气优良状况及六种污染物:可吸入颗粒物、细颗粒物、二氧化硫、二氧化氮、一氧化碳、臭氧的时空分布特征进行研究分析。(1)2008-2012年,潍坊市
顶发光OLED器件是有机光电显示领域的重要组成部分,其阳极结构及性能对OLED器件的性能具有至关重要的影响。本文介绍了近年来顶发光OLED器件阳极的结构、材料及性能改善等领
分析当前数学课中存在的"去数学化"和"高耗低效"现象后,对课堂教学进行改革尝试。以"加法交换律和结合律"的磨课心路历程为例,从"选种","了解播种要求","播种安排","种地"等
膝骨关节炎(knee osteoarthritis,KOA)是一种常见的膝关节退行性病变,中医学中称为"痹症",临床表现为关节疼痛、肿胀、僵硬、活动受限和关节畸形,严重者可出现肌肉萎缩。该文
企业管理者对企业承担社会责任的认知,直接影响着企业关于社会责任问题的决策和行为。基于卡罗尔企业社会责任金字塔模型和利益相关者理论,本文详细考察企业中高层管理者对企
随着通讯技术、数字技术和高速计算机的飞速发展,采样控制引起了广大研究者们的兴趣.在采样控制中,仅系统在采样点处的信息被传输到控制器.因此,采样控制减少了信息传输量,有