基于深度注意力机制的视频行人再识别方法

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:tenghua303
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
行人再识别的目的是在智能视频监控系统非重叠摄像机视角下对同一行人进行识别匹配。该技术在实际生活中的很多领域有着越来越多的应用,包括公共安全、行为分析和交通流分析等。受光照变化、背景复杂、行人姿态变化和行人被遮挡的影响,行人再识别技术面临着巨大的挑战,成为计算机视觉领域的研究热点和难点。为了能更好地解决这些问题,本文引入了多种注意力机制,重点对于视频行人再识别技术进行了深入研究,有效地提升视频行人再识别方法的性能。论文的主要研究内容及创新点如下:(1)针对于视频行人再识别中背景混乱和空间未对齐的问题,本文提出了一种深度卷积注意块和全局-局部融合网络,利用注意力机制来解决背景混乱问题并提取全局和局部特征来解决行人空间未对齐问题。具体来说,该网络包含两部分,其中第一部分引入了卷积块注意力模块,该模块会沿通道和空间维度生成注意力图,引导网络自动的关注重要的行人特征并抑制不必要的背景特征。第二部分设计了一个特征聚合层,在视频序列中结合全局特征和局部特征,来获取鲁棒的和更具辨别性的特征表示来应对行人未对齐的问题。(2)针对于视频行人再识别中目标行人被物体或非目标行人遮挡和背景复杂问题,本文提出了一种新颖的三重注意力网络,该网络采用自注意力机制来获得鲁棒和区分性的视频级特征,同时利用了时间,空间和通道的上下文信息。具体来说,该网络包含两个部分,其中第一部分引入了残差注意力子网络,该网络包含通道注意力模块和空间注意力模块,通道注意力模块建立通道维度和空间维度之间的依赖关系,通过捕获跨维度交互关注更加准确的行人特征。空间注意力模块利用不同位置中丰富的上下文依赖性来加强行人的特征表示。第二部分设计了一个时间注意力模块来评估每个行人的质量得分从而增加关键帧的权重,减小其他帧权重,有效地解决了遮挡问题。本文在三个数据集i LIDS-VID,PRID2011和MARS上评估了本文提出的两种方法。大量的对比实验表明,本文提出的方法能够学习到具有鲁棒性和辨别性的特征,有效地提高了行人再识别的识别率。
其他文献
大规模人群疏散仿真技术能够对行人的运动行为模式进行分析、模拟以及预测,在一定程度上减少了公共安全隐患。办公楼、商场等大型建筑物内普遍设置有疏散标志等辅助设备,这些设备在紧急情况下可以为人群提供路径指引和疏散信息,从而提高疏散效率,由此研究可行的受引导人群疏散仿真(Guided Crowd Ev acuation)方法具有重要的理论和现实意义。当前受引导的人群疏散仿真方法较少考虑行人的情绪以及情绪在
高光谱图像具有很高的光谱覆盖范围,可以准确地识别地物信息,但是拥有丰富光谱信息的同时高光谱图像空间分辨率普遍较低,因此高光谱与多光谱图像融合成为了遥感图像处理的重要课题之一。目前深度学习在图像领域获得了不错的成果,在遥感图像融合问题上同样表现优异。然而,现有算法忽略了两个问题:1)原始高光谱图像和多光谱图像之间存在巨大尺度差距,2)对光谱信息重建的关注不足。本文对于上述问题提出了针对性的解决方案,
显著性目标检测的目的是从某个给定的场景中提取出最吸引人注意的物体,该研究不仅在图像分割、目标识别等领域有所贡献,还被应用于无人驾驶、目标追踪等高科技领域。目前提出的显著性检测算法大多基于2维RGB图像和3维RGBD图像。随着4D光场相机的蓬勃发展,显著性目标检测开始向4D空间拓展。早期的光场显著性检测算法主要依赖人工提取特征信息,后期随着深度学习网络的发展,研究者们开始尝试搭建深层神经网络检测光场
当前,深度学习技术迅速发展,在计算机视觉、自然语言处理、语音识别等领域取得了举世瞩目的成果,但是大多数深度学习模型的训练依赖于大量标注样本。在现实情景中,某些样本的标注非常困难,而较少的样本也不足以表达某个类别的特征分布。然而,人类可以在见过极少的样本后快速地识别出属于该类别的新样本,研究者们从人类这种快速学习的能力中受到启发提出了小样本学习问题,其目的就是要学习一个具有良好泛化性能的模型,能够在
随着计算机信息技术的发展,智能安防领域的相关技术也得到了很大的进步。在智能监控系统中,行人再识别算法受到广大科研人员和科研机构的密切关注。但是,行人再识别技术在现实场景应用的过程中面临着一些挑战。虽然基于有监督学习的行人再识别技术得到了巨大的提升,但是使用有监督学习的方法进行模型训练需要大量已标记的数据,这增加了人工成本和时间成本。由于在现实场景中直接获得的行人图像是无标签的,所以直接基于无标签数
随着计算机视觉领域的相关技术的快速发展,人体解析在该领域中的地位也显得愈加重要,其具体任务是为图像中的人物进行逐像素的分类标注,将图像中的人体划分为带有语义信息的不同区域,又被称为服装解析。本文研究了利用基于特征融合的方法处理人体解析任务,首先提出了多尺度特征融合网络MFBNet,创新性地为其引入了上下文嵌入模块,用于捕获丰富的上下文信息从而提高解析精度;另外,为了针对性地提高模型在单人解析任务上
随着互联网与智能移动设备的普及,各类应用平台的层出不穷引发了数据规模的爆炸式增长,在海量的产品中实现精准投放成为互联网平台获益的关键。提前对用户下一次的点击行为进行预测就显得尤为重要,点击率预测任务因其可用于评估用户点击产品的可能性的特点,目前已广泛部署在许多在线推荐和广告平台中。针对点击率数据特征学习的模型可分为两类:以学习线性特征组合进行预测的浅层模型(例如,梯度提升树),以及通过对复杂的稀疏
近年来,随着社会流动性增加,智能安防逐渐引起国内外科研学者的重视,而跨模态行人再识别系统是智能安防领域的重要研究课题,国内外科研人员都开展了相关研究,本文在现有成果的基础上进行了优化与改进,旨在深入解决跨模态行人再识别系统的难点与挑战。基于深度学习的跨模态行人再识别系统由两个重要分支组成,分别是行人检测网络和跨模态行人再识别网络,因此,本文的研究课题主要为行人检测和跨模态行人再识别两个方面。本文的
高光谱图像分类是高光谱图像分析中的一个重要研究领域。在考虑高光谱图像的光谱信息和空间信息的基础上,许多优秀的算法被提出应用于分类之中。遥感高光谱图像中大量的混合像元使可分性减弱。当前的高光谱分类都是单标签分类,从标签的角度看,用单标签来标记混合像元内的多种地物是不合适的。从分类的角度看,混合会让光谱特征空间的类内差异变大,类间差异变小,导致最终的分类结果变差。针对混合像元的存在,本文将多标签学习的
作为图像理解和计算机视觉任务中的热门课题之一,目标检测已经成为解决行人检测、人脸识别、路径跟踪等复杂任务的基础。其主要目的是确定自然图像中是否存在预定义的物体实例,并返回物体实例的空间位置和类别。随着深度学习技术的普及,基于深度学习的目标检测框架相较于传统方法获得了更好的检测性能。由于不断出现的复杂任务场景,现阶段对于检测器的实时性的要求也越来越高。单阶段目标检测器以其较少的参数和较高的推理速度,