面向可见光和红外的跨模态行人重识别方法研究

来源 :中南民族大学 | 被引量 : 0次 | 上传用户:gjj19901005
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度神经网络的发展、城市视频监控系统的普及和监控网络的完善,行人重识别(Person Re-identification,Re ID)技术逐渐成为近年来计算机视觉领域的热门研究课题,在智能视频监控和安防领域发挥着越来越重要的作用。传统行人重识别技术只适用于白天场景下的跨可见光摄像头行人匹配,而跨模态行人重识别(Cross-Modality Re ID)能够在白天可见光模态和夜晚红外模态之间跨模态地匹配行人,跨模态行人重识别填补了传统单模态行人重识别的应用场景,在传统行人重识别的基础上,实现了全天候二十四小时的行人重识别。在实际应用场景下,由于可见光和红外摄像头捕获的彩色和红外行人图像高度异构带来的模态差异,使得跨模态行人重识别技术面临着巨大的挑战。因此,本文针对可见光、红外跨模态所带来的模态差异,从图像层面和特征层面分别对模态差异进行处理,以缓解其对跨模态行人重识别任务带来的负面影响。本文的主要工作如下:(1)针对图像层面可见光、红外行人图像的外观模态差异和现有跨模态数据集样本不足的问题,提出了基于双流网络的异质图像增广方法(Heterogeneous Image Augmentation,HIA)。本文通过设计的轻量级异质图像卷积生成器将可见光图像转化为近似红外的新样本,并对红外图像进行色彩抖动以模拟实际场景中的光照变化。将原始图像和生成图像一起输入到网络中,在身份分类损失和批次难样本三元组损失的基础上,使用设计的基于异质图像的正样本对约束损失(Positive Sample Pair Constraint Loss),以异质图像卷积生成器生成的近似红外样本为锚点,约束锚点与其他正样本之间的距离,通过梯度反向传播来优化生成器。基于双流网络的异质图像增广方法丰富了训练样本,使得网络提取到的不同模态下的行人特征能够同时具备模态共性信息和特定于模态的信息,有效地减少了模态差异。(2)针对特征层面不同模态的行人特征存在较大模态差异的问题,在基于双流网络的异质图像增广方法的基础上,进一步提出了基于模态分类的跨模态特征对齐方法(Cross-modality Feature Alignment,CFA)。该方法设计了一种模态特征对齐模块,旨在引导网络学习不同模态特征的共性信息。该模块包含两个模态分类器,通过预构建的模态标签,对不同模态特征进行二分类。随后在特征网络训练中,利用设计的跨模态特征对齐损失将可见光/红外模态特征分类为相反模态。在网络训练过程中,模态分类器与特征网络交替更新参数,使得不同模态行人特征在高维特征空间内具有更多共性。结合使用图像和特征层面两种方法,端到端地进行跨模态行人重识别,本文提出的方法在SYSU-MM01数据集上达到了rank-1 57.82%和m AP 54.35%,在Reg DB数据集上达到了rank-1 80.39%和m AP 75.05%的精度,证明了方法的有效性。
其他文献
随着汽车电子集成度越来越高以及与物联网的结合,现代汽车已不是简单的物理控制系统,智能化程度越高的汽车集成的电子控制单元越多。通过总线连接的大量电子控制单元形成了复杂的车内网络,实现自动驾驶、信息娱乐等各种复杂功能。在汽车不断智能化的同时,高度复杂的车内网络让车辆信息安全面临严峻考验。攻击者可以通过各种手段发起攻击,最终侵入CAN总线网络实施精准的汽车控制,危害汽车乘员人身财产安全。在此背景下,研究
近几十年来,随着世界范围内能源危机和环境问题的挑战日益严峻,对高性能储能系统与器件的市场需求不断增长,超级电容器作为最有前途的清洁储能器件之一受到了广泛的关注。在各类储能系统中,超级电容器具有充放电速度快、使用寿命长、功率密度突出、绿色安全等优势,是新一代储能系统中具有实用潜力的高效储能器件。本研究中以构建高性能的镍钴基电极材料为目的,引入了廉价易得、天然多孔的硅藻土(DE)作为生长基底,设计出N
众所周知,X射线计算机断层成像技术(X-ray Computed Tomography,X-CT或CT)自上世纪发明以来,其在医疗、工业等领域的应用日益广泛,技术发展也日趋成熟。然而,因受制于其几何结构以及扫描方式的限制,CT系统对于大尺寸板状结构物体的无损检测,难以获得或提供高精度、高对比度的断层图像。针对这一类无损检测对象,采用倾斜扫描方式的X射线计算机层析成像技术(Computed Lami
随着能源供应短缺、城市交通拥堵、道路事故频发等问题日趋严重,世界各国都在寻找有效的解决方案。新能源汽车技术在改善燃油经济性方面具有显著的优势,同时,车辆队列控制技术能够提高车辆行驶过程中的安全性,因此,如何结合交通状态信息与整车状态信息,实现节能、安全的速度规划和能量管理是车辆队列控制策略设计中必须考虑的问题,本文选取混合动力车辆队列为研究对象,以基于真实道路信息建立的道路模型为场景,进行了单车/
电离层是地球上空60-1000km范围内大气层的一部分,其中含有大量的带电粒子,是天然的短波通信传播媒介,对无线电波的传播产生着显著影响。为了充分利用它为人类服务,需要对其进行长期不间断探测,电离层无线电探测方法是一种古老且经济有效的方法,而VHF(Very High Frequency)电离层相干散射雷达和电离层数字测高仪是这种方法中最常使用的两种探测设备。在这两种探测设备中,天线系统是最重要的
多目标跟踪(Multi-Object Tracking,MOT)是计算机视觉领域的重要研究内容,在无人驾驶、视频监控、行为分析等领域具有广泛的应用前景。当前多目标跟踪领域一种主流方法是基于检测的数据关联,这种方法利用离线训练好的检测器逐帧定位感兴趣目标区域,再通过关联算法实现目标身份的鉴定。本文在基于检测的跟踪框架下,将多目标跟踪问题转化为已跟踪目标轨迹与当前帧检测响应之间的二分图匹配问题,其关键
隧道掘进的地质灾害事故严重威胁施生命和财产安全,常采用瞬变电磁法来进行超前探测。瞬变电磁超前探测数据量大,类型多而且复杂,急需相关的数据管理和分析软件平台,解决其分类、查找、成果图和分析报告的精细管理。为解决以上问题,在本实验室开发的超前探测的阵列式反磁通瞬变电磁仪基础上,研发隧道超前地质探测和预报的云数据管理及分析系统。本文采用电磁有限元仿真软件ANSYS Maxwell进行仿真,验证阵列式反磁
遥感图像目标检测旨在通过边界框定位遥感图像中感兴趣目标的位置。准确而快速地检测出遥感图像中感兴趣目标是后续分析与利用遥感数据的基本步骤之一。它被广泛应用于城市规划、地理信息获取、军事国防等重大领域。随着遥感成像技术的不断发展,遥感图像的分辨率越来越高,高分辨率遥感图像中包含更加丰富的细节信息和结构特征,这些新的变化给传统的目标检测任务提出了新的挑战。传统的遥感图像中目标检测算法主要依赖基于经验规则
近年来我国基建事业发展迅速,建筑结构数量大量增加。现役建筑结构除了遭受恶劣环境的影响,还受到自身荷载长期的作用,进而导致结构发生损伤,且随着时间推移,损伤会逐渐积累直至结构破坏。因此,十分有必要对结构开展定期检测,然而由于实际工程结构复杂性和不确定因素的影响,在实际工程中应用仍有较大的困难。本文以统计矩作为损伤指标,提出两步法对框架结构进行损伤识别。首先,通过融合第四阶位移响应统计矩和第八阶加速度
茶叶种植在我国有着悠久的历史,茶叶也成为了国内主要的农作物之一,且种植面积日益扩大,随着茶叶市场经济的不断发展,茶叶种植所带来的的盈利占据农民收入的比例也在不断增加。目前茶叶的采摘方式分为两种,一种是采用人工劳动力的方式进行采摘,人工采摘的茶叶因为具有较完整的茶芽,因此通常具备较高的经济效益,但这种采摘方式因为采摘效率低、劳动力不足等问题无法满足茶叶市场对茶叶产量的需求,因此另一种机械采摘的采茶方