基于注意力机制与交叉一致性的多模态车辆重识别研究

来源 :安徽大学 | 被引量 : 0次 | 上传用户:xuxiaohua
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
车辆重识别的主要任务是根据车辆外观特征从图像库或视频库中寻找特定车辆,该技术在智慧城市、天网系统中具有重要的应用价值。但是,目前单一可见光的监控终端往往容易受到复杂环境的干扰,无法满足全时段全天候的监控需求。同时,随着红外监控设备的普及,由可见光终端、红外终端组成的多模态监控条件初步形成,多模态车辆重识别也受到了一定的关注。因此,本文利用注意力机制和交叉一致性对多模态条件下的车辆重识别问题展开了研究。具体的研究内容如下:(1)针对传统可见光条件下的车辆重识别方法在复杂光照环境下的不足和已有多模态车辆重识别数据集在数据多样性上的限制,本工作构造了一个新的多模态车辆重识别数据集MSVR310。该数据集采集了310辆车在不同场景下可见光、近红外和热红外三个模态的数据,包括了遮挡、光照变化、视角变化等多种挑战。相比已有工作,该数据集在数据多样性和测试协议设计上有了较大进步。同时,针对多模态车辆重识别中不同模态数据在内容上的异质性和一致性,本工作还设计了一种基于注意力机制的多模态车辆重识别方法。该方法首先设计了样本风格统一模块,以减小样本内不同模态数据的分布差异。之后,该方法嵌入了跨模态相似性注意力模块,利用不同模态特征间的相似性关系来生成注意力掩码以指导学习过程。最后,该方法改进了传统的三元组损失,使其更加适用于多模态车辆重识别问题。(2)针对多模态车辆重识别数据中广泛存在的样本差异和模态差异,本工作设计了一种基于交叉一致性的多模态车辆重识别方法。该方法包含了一种交叉中心损失,通过同时约束类内各个样本中心和各个模态中心的一致性,从而克服多模态车辆数据中的样本差异和模态差异的影响。此外,由于多模态车辆数据面临严重的环境干扰以及车辆本身的视角变换问题,同一模态内部的特征也存在巨大的分布差异,该方法还设计了一种自适应层归一化单元来动态调节卷积神经网络中层特征的分布,从而缓解模态内分布差异对学习过程的干扰。本文在MSVR310和其他公开多模态车辆重识别数据集RGBN300、RGBNT100上进行了充分的实验,证实了文中方法的良好性能和数据集的科研价值。
其他文献
期刊
目的:通过对22个无花果品种盐胁迫下生理指标的测定,筛选出耐盐性强、适合沿海滩涂地区生长的无花果品种,为后续大田筛选和在沿海滩涂推广种植提供了理论依据。方法:对22个无花果品种盐胁迫7、14、21 d之后进行丙二醛含量、叶绿素含量和相对电导率测定,初步筛选出6个耐盐性较强的品种。对6个耐盐性较强的无花果品种进行盐胁迫0、6、12、24、48 h,测定丙二醛含量、超氧化物歧化酶等8种生理指标,利用S
期刊
报纸
<正>取鲜无花果5个(切片),麦冬12 g,金银花20 g(1 d量),用沸水浸泡30 min后代茶饮,连饮5~7 d。无花果味甘性凉,归肺、胃、大肠经,能清热生津、润肺通肠、健脾开胃、解毒消肿。其含有苹果酸、柠檬酸、脂肪酶、蛋白酶、水解酶等,能促进消化、增加食欲,且降低血脂,进而起到降血压、预防冠心病的作用;其含有多种脂类,
期刊
[研究目的]在大国博弈日趋激烈的背景下,对美国情报战略中开源情报的转向及其争议进行剖析,研判通用大模型等新技术对其未来的走向具有重要意义。[研究方法]通过考察美国开源情报战略调整路径,揭示开源情报发展“理论+技术+实践”三元互动的底层逻辑与未来趋势,有助于以相对全面、立体的视角理解美国国家情报工作对开源情报的顶层规划和具体实施机制。[研究结论]美国将不断提升开源情报的战略地位,并加强跨机构的、公私
期刊
为研究青海省民和县近20年景观分布规律及其土地利用程度问题,在GIS技术的支持下,将青海省民和县作为研究对象,选用2000、2010、2020年的全球地表覆盖数据GlobeLand30,基于GlobeLand30分类系统,构建分类体系,并通过土地类型转移矩阵得到20年来研究区各景观类型面积及其变化情况,最后利用Fragstats4景观分析软件选取9个主要景观指标,对民和县的景观格局进行斑块类型和景
期刊
文章基于南京市六合区水资源现状、用水结构以及用水效率,综合分析了南京市六合区现状节水水平、节水潜力,探讨了未来六合区的节水对策。结果表明:主要节水潜力在农业方面,2025年在50%来水条件下总节水潜力为7 436万m~3,在75%来水条件下总节水潜力为6 063万m~3,在95%来水条件下总节水潜力为6 882万m~3。基于最严格水资源管理目标要求,从农业节水、生活节水、工业节水、非常规水源利用等
期刊
房地产经济的不断发展,个人住房贷款规模得到了迅速增长,在这种背景之下,各大银行都逐渐加强了对个人住房贷款业务的开发。但是从近些年来我国房地产市场的表现来看,市场稳定性明显下降,原本较为安全的个人住房贷款风险也逐渐提高,风险管理刻不容缓。基于此,本文在个人住房贷款风险特征分析的基础上对其贷款风险管理措施进行了详细研究,以供相关工作人员参鉴。
期刊
采用高温油浸法分别提取等质量全辣椒、辣椒籽与辣椒皮中的香气成分,利用固相微萃取头对香气成分进行富集,再经气相色谱-质谱联用仪分析全辣椒油样、辣椒皮油样和辣椒籽油样中的香气成分;结合感官评价和辣椒辣素含量筛选最适油温、料液比及萃取条件。结果表明,最适浸提油温为180℃;最佳料液比为1∶4;固相微萃取头对辣椒油样挥发性物质富集的最适萃取温度为40℃,最优萃取时间为10 min,解吸时间为3 min。3
期刊
报纸