基于生成对抗网络的双路径可见光-红外光行人重识别研究

来源 :山东师范大学 | 被引量 : 0次 | 上传用户:liang630223
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着研究的不断深入,行人重识别领域得到了快速发展,该技术也得到了广泛应用。当光线条件较好时,可见光行人重识别方法即使面临复杂的环境依然表现良好,但在实际应用中往往存在光照不足的问题,此时用常见的普通相机拍摄的可见光图像分辨率较低,会对行人重识别任务产生负面影响,这就需要用红外相机额外拍摄较清晰的红外光图像。因红外光图像与可见光图像的成像光谱存在显著区别,导致二者之间存在着巨大的模态差异。为了解决上述问题,本文在梳理行人重识别研究现状、常用研究方法及相关概念的基础上,提出了一种图像对生成网络和一种双路径联合判别模型,主要创新工作如下:(1)提出了一种图像对生成网络(Image pair generation network,IPGN)来解决可见光-红外光行人重识别任务中图像模态不一致的问题。该网络利用属性编码器和模态编码器将图像划分成两部分,分别是属性编码和模态编码。对于行人身份相同的可见光图像和红外光图像,交换不同图像的模态编码,与图像原有的属性编码共同输入到生成器中,为每种模态的图像生成对应的另一种模态的图像。将属性不同、模态相同的两种图像组成同模态图像对,从而解决了因模态不同而产生的特征不对齐问题。在Reg DB和SYSU-MM01两个数据集上设计实验,证明了IPGN方法的有效性。(2)提出了一种双路径图像对联合判别模型(dual-path image pair joint discriminant model,DPJD)来解决判别过程中存在的注意力偏差问题。该模型包含模态相同的图像对判别分支和模态不同的图像对判别分支。在模态相同的图像对判别分支中,模型主要关注图像的属性信息;在模态不同的图像对判别分支中,模型主要关注图像的模态信息。两条分支共同作用于判别模块,从而充分利用图像的全部特征。由于DPJD同时处理图像的模态信息和属性信息,所以该模型还利用kl散度来增强不同特征间的关联关系。此外,该模型利用三元组损失优化类内距离、推远类间距离,从而提高整体的判别精度。在两种基准数据集上设计实验,验证了DPJD方法的优越性。
其他文献
随着互联网的快速发展,人们会接触到大量的媒体信息,这些信息使人们的生活变得更加丰富有趣。同时,随着社交媒体平台的不断发展,视频的数量也呈爆炸式增长,不同的视频内容被人们记住的程度不同,令人印象深刻的视频内容具有很高的研究价值。因此,视频可记忆性的研究受到工业界和学术界的广泛关注。视频可记忆性是衡量视频片段被人们记住的程度性指标。研究者通常用视频记忆分数来量化可记忆性,即视频片段被人们普遍记住的概率
学位
图像超分辨率是一种能够有效提高图像分辨率的技术,它从模糊的低分辨率图像重建细节更清晰的高分辨率图像。作为计算机视觉任务中图像处理的一项关键技术,图像超分辨率一直受到研究者们的广泛关注。同时,图像超分辨技术在语义分割、模式识别等应用领域具有重要价值,也可以改善人们的视觉体验。基于深度学习的图像超分辨率方法因生成图像质量较高,逐渐成为图像超分辨率领域的热点。虽然基于深度学习的图像超分辨率算法已经取得了
学位
地理空间能力包括学生感知、定位、想象、比较、综合分析地理空间的能力,是地理核心素养培养的关键,地理空间能力的培养离不开现代空间技术的辅助。“3S”技术从多维视角展现地理事物的空间联系,在高中生地理空间能力的培养中具有显著优势,是现代化地理教学中不可或缺的技术手段。本文针对“‘3S’技术辅助高中地理教学”存在的问题,结合高中地理教材,从理论与实践层面探讨了提高“3S”技术辅助高中生地理空间能力培养的
学位
车联网(Internet of Vehicle,Io V)技术的快速发展,催生了大量计算密集型和时延敏感型等新兴车载应用,车辆终端有限的计算资源难以满足新兴应用对时延和能耗的要求。而传统的基于移动云计算的任务卸载存在传输任务耗时较长、传输干扰波动较大的缺陷。基于移动边缘计算(Mobile Edge Computing,MEC)的车联网,即车辆边缘计算(Vehicular Edge Computin
学位
随着车载自组网和移动定位技术的快速发展,基于位置的服务(Location Based Services,LBS)得到了广泛应用,例如兴趣点(Points of Interest,POIs)查询、社交网络服务和交通密度监测等。其中,交通密度监测作为了解道路交通状况的一种重要方式,在日常生活中为人们的出行带来了诸多便利。目前,对车辆的实时位置数据进行收集、处理和分析是最普遍的交通密度监测方法,但由于车
学位
线性控制理论在早期工业平台中扮演着重要的角色,它能控制线性系统达到一个稳定的状态,或使线性系统的输出达到规定的性能。当今社会,许多实际物理模型都能被建模成具有未知控制增益的非线性系统,比如航天系统、机器人系统等。然而,先前的线性控制方法无法针对非线性系统进行控制设计和稳定性分析,这给相关控制器的设计带来了严峻的挑战。随着智能信息处理及科学技术的高速发展,对具有不确定、非线性及外部随机扰动等特性的系
学位
随着信息技术的快速发展,高维特征可以为客观世界提供更全面的描述,但同时也带来了相当大的计算负担和较高的存储成本,因此通过将数据原始特征投影到能保留原始信息的低维空间中的降维方法引起了研究者们的广泛关注。根据标签的使用情况,降维方法大致分为有监督、无监督和半监督三种,其中,半监督降维综合利用标记数据和无标记数据实现降维过程,其兼具有监督和无监督方法的优势。作为一种有效的半监督降维方法,基于图的半监督
学位
多视图(Multi-view)数据是指来自不同渠道或者以多种模式来描述的数据。多视图数据包含的事物信息既多样又统一,可以帮助人们更全面地了解事物,因此利用多视图数据的特性来提高聚类任务的性能是十分必要的。多视图聚类的目的是利用多个视图的特征将数据样本划分到不同的组中,使每组内的样本比其他组的样本具有更高的相似性。近年来,多视图聚类受到了广泛的关注,虽然以往的多视图聚类模型取得了很大的成功,但仍存在
学位
随着互联网技术的快速发展和云计算技术的广泛应用,对大数据的各种应用渗透到人们生活的方方面面。这些应用使人们的生活更加便捷,但同时大量有价值的、敏感的私有信息被不断挖掘,人们的隐私受到威胁。安全多方计算可以解决在分布式场景下互不信任的数据拥有者如何安全协同计算的问题。利用安全多方计算技术,人们不仅实现了数据的联合计算,还保证了数据的隐私性。在诸多数据应用场景中,不同参与方持有的隐私数据通常可以用集合
学位
随着信息化技术与教育行业的持续深度融合,在线教育正快速进入大众视野,成为教育领域中冉冉升起的一颗新星。相对于传统的课堂学习,在线教育留存大量教育视频,使学习者学习打破了时空限制,视频学习不仅对学习者的学习效果具有较大提升,而且可通过学习者观看视频后在线留下的学习过程数据,精准发现学习过程中存在的问题,并为其提供指导建议,实现因材施教。然而,对于学习者来说,如何快速而精准地掌握教育视频的核心内容,并
学位