面向红外和可见光的跨模态行人重识别研究

来源 :江南大学 | 被引量 : 0次 | 上传用户:kk345
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着智能监控系统的不断升级和广泛应用,行人重识别技术受到了众多学者的关注。得益于可见光摄像头和红外摄像头的大量部署,面向红外图像和可见光图像的跨模态行人重识别研究得到了长足的发展。跨模态行人重识别旨在匹配不同场景下具有相同身份的红外图像和可见光图像,由于红外模态和可见光模态之间存在巨大差异,所以如何减小跨模态差异是跨模态行人重识别研究的重点。随着跨模态行人重识别研究日趋成熟,基于模态互转的方法和基于度量学习的方法在减小红外模态和可见光模态之间的差异上发挥出了优异的性能。大多数的模态互转方法利用生成对抗网络来生成红外图像对应的可见光图像,或者可见光图像对应的红外图像。然而来自不同波长的红外图像和可见光图像包含的特征具有很大的差异,直接转换为对应模态的图像势必会丢失大量关键的信息。为了更好地利用来自两种模态的特征信息,本文对两种模态特征的融合以及减少两种模态之间的差异展开研究,主要工作内容如下:(1)为了桥接红外模态和可见光模态之间的差异,本文提出了双模态特征融合模块(Dual-modality Feature Fusion Module,DFFM),通过融合红外图像和可见光图像的关键特征来生成融合模态图像。双模态特征融合模块提取红外图像的空间结构信息以及可见光图像的颜色和空间结构信息,然后分别计算红外分支和可见光分支的通道注意力,将通道注意力应用在红外图像特征和可见光图像特征的不同通道上,最后互相融合生成三通道的融合模态图像。融合模态拥有红外图像和可见光图像的颜色和空间结构信息,在像素级别上桥接红外模态和可见光模态之间的差异。(2)为了促进网络学习红外模态和可见光模态之间具有判别性的模态不变特征,本文提出了多模态中心聚合损失(Muti-modality Center Aggregation Loss,MCA),利用红外模态、可见光模态和融合模态特征分布之间的中心距离代替三个模态图像之间的距离,并且动态地聚合三个模态的特征中心。一方面优化中心距离能够有效减少不同模态之间的跨模态差异,促进网络学习红外模态和可见光模态之间具有判别性的共同特征,从而提升行人的红外图像和可见光图像之间的特征相似性。另一方面指导双模态特征融合模块的训练,生成对网络更有益的融合模态图像。(3)为了减小类内差异以及扩大类间差异,本文提出了多模态三元组损失(Muti-modality Triplet Loss,MMT)。分别以可见光图像、融合图像和红外图像为目标图像,正样本和负样本则从另外的两个模态图像中选取,从而构建三个三元组,计算模态间的多模态三元组损失,进而优化多个模态之间的关系,减少类内跨模态变化。同时用模态内的多模态三元组损失减小模态内的类内差异,扩大模态内的类间差异,即分别对红外模态、可见光模态和融合模态计算三元组损失。综上所述,本文针对跨模态行人重识别提出了三种方法DFFM,MCA以及MMT,并且在多个数据集上验证了所提方法的优良性能和模块的有效性。
其他文献
<正>周仲瑛(1928-),男,教授,国医大师,全国老中医药专家学术经验继承工作指导老师,国家级非物质文化遗产传统医药项目代表性传承人。长期从事中医内科医疗、教学、科研工作。在科研工作中坚持以中医理论为指导,临床实践为基础,在大量临床实践经验中找出病证的病理特点、诊治规律,进行辨证立法,制方选药,作为课题研究设计的基础。先后主持国家级、省部级课题24项,已取得研究成果18项,获科技进步奖项。
随着我国教育体制的不断变化,我国的中小学体育教学越来越受到人们的关注,新一轮的教学大纲也提出了要以提高学生的体质为优先事项,让学生具备了一定的体能水平,从而提高他们的综合能力。在体育教学中,教师学生的互动是非常重要的,在体育课上,教师和学生的交流可以促进课堂上的氛围,促进学生的身体锻炼,让他们在运动的时候感受到更多的乐趣。
为了缓解能源短缺问题,寻找高效的储能设备和提高储能效率成为了科学研究的重点之一。对于储能电池,熔盐作为电解质的高温电池能够提供高效的反应动力学,结合铁-空气电池能量密度高、成本低的特点发展出了高温熔盐铁-空气电池,同时还发展出了半固态以及全固态高温铁-空气电池进一步改善了高温熔盐的挥发性、流动性和腐蚀性,在大规模储能技术领域展现出广阔的前景。然而全固态高温铁-空气电池的研究都处于初步阶段,其性能较
报纸
用间接免疫荧光抗体试验(IFA)检测279头从加拿大进口种猪血清中的猪繁殖和呼吸系统综合征(PRRS)病毒抗体,结果有3头为美洲株阳性,隔离期问,有45头发病,其中13头死亡,症状都相似,符合PRRS的特征。从病死猪E88.8的肺组织中分离到1株能使Marc 145 HS2H产生细胞病变的病毒。将该分离物接种Marc 145和HS2H细胞,48小时后甩乙醇固定,分别以美洲株和欧洲株的标准阳性血清作
建管局以大华桥水电站“创国优精品工程”和“打造示范窗口电站”为总目标,坚持“高起点、敢创新、严管理、重效益”的管理理念,充分发挥业主的核心主导作用,以问题为导向,调动整合“产、学、研、用”各方资源,建立关键技术联合攻关及专家“把脉问诊”机制,大胆采用新技术、新工艺,大力开展设计优化,强化现场标段界面管理,统筹协调各单位、各部门、各专业间无缝衔接。通过精细化管理,历时3+a多时间,大华桥水电站大坝工
目的本课题旨在观察基于“脾肾相关”理论的治疗方案干预下低体重型PCOS的临床疗效及人体成分变化,探讨该方案的疗效,以期为低体重型PCOS患者提供有效的治疗方案。方法本研究共纳入有效资料67例,为治疗组34例,予中药联合生活方式改变干预,对照组33例,予达英-35联合生活方式改变干预。两组治疗前后分别进行中医症状评分、检测LH、FSH、E2、T等性激素及BMI、骨骼肌标准占比、体脂率、WHR、基础代
自十九世纪以来,数学史与数学教育的关系就一直被西方数学界和教育界所重视。我国著名的数学家钱宝琮先生非常重视数学史在数学教学中的作用,并把它看作是为广大的中学数学教学服务的。华东师范大学教授、博导张奠宙先生也非常重视数学史的教育价值,并提倡在数学教学中把数学史积极融入进去。《义务教育数学课程标准(2011年版)》也突出强调数学史引入的重要性,对于激发学生学习数学的兴趣、感受数学家开拓进取、坚持不懈的
党的十九大以来,职业经理人选聘制度的推行逐渐进入关键时期,成为完成国企改革“三年行动”重要任务的热点问题。本文依据中国建材集团有限公司实施职业经理人选聘制度的典型案例资料,分析我国国企推行职业经理人选聘制度的现状和主要困境,并提出优化建议,以期为国有企业职业经理人选聘制度的全面推行提供一定借鉴。
纯无机钙钛矿材料具有颜色可调、带隙窄、制作工艺简单、成本低等优点,受到了广泛的研究,然而它在水和氧环境中的不稳定性限制了其应用。利用聚合物在非极性溶剂中的溶胀-收缩原理将CsPbBr3量子点原位生长在聚甲基丙烯酸甲酯(PMMA)薄膜中来提高钙钛矿量子点在水氧环境中的稳定性。该方法合成简便,可以降低CsPbBr3量子点的形成温度,并且可以得到稳定的钙钛矿相薄膜,制得的复合薄膜具有优异的空气稳定性和耐