基于全模态度量和知识自蒸馏的跨模态行人重识别算法研究

来源 :中国矿业大学 | 被引量 : 0次 | 上传用户:fly19791013fly
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
跨模态行人重识别是一种针对不同光照场景的跨摄像头行人图像检索技术,对于维护公共安全和平安城市建设具有重要意义。随着深度学习的发展,跨模态行人重识别的算法性能得到较大提升,但目前相关研究的性能表现与落地应用的期望之间仍有较大差距。究其原因在于成像源不同带来的模态差异和视角、姿态等变化造成的行人外观差异的存在,为神经网络提取有鉴别力的特征带来难度与挑战。通过对跨模态行人重识别问题的深入分析,本文从度量学习和特征提取两个方面展开研究,提出了两种跨模态行人重识别算法,有效提升了跨模态行人重识别的准确率。本文主要工作如下:(1)提出一种基于全模态度量的跨模态行人重识别算法,通过更有效的特征学习和特征度量增加网络对于模态差异和外观差异的鲁棒性。首先,采用最优采样策略,提高网络多模态共享信息学习能力及避免样本不平衡扰动;其次,对网络使用逆特征图下采样方法增大输出特征图分辨率以挖掘更丰富的细粒度行人信息,同时对特征图使用广义均值池化避免重要响应丢失;然后,对行人特征距离进行全模态度量,通过度量全模态更多具有代表性的行人数据增强网络特征描述能力,促进类内特征紧凑和类间特征可分;最后,使用身份分类损失和全模态度量三元组损失共同监督网络训练,帮助网络收敛,优化特征层,提高网络重识别性能。(2)提出一种基于知识自蒸馏的跨模态行人重识别算法,以解决跨模态行人重识别网络对高鉴别力特征的感知和提取能力不足,无法进一步提升算法性能的问题。首先,采用部分参数共享的双流网络结构,加强网络对模态专属底层特征及模态共享信息的学习。其次,构造与最深层识别器具有相同结构的浅层识别器,同时建立集成多个损失函数的多维监督机制以实现知识自蒸馏,通过充分的知识迁移提高特征提取网络局部和整体的特征感知和提取能力,促使网络注意并学习到高鉴别力的特征表示,进一步提高重识别准确率。除此之外,该算法的可扩展深度为模型简化提供了可能性,在精度和模型轻量化方面提供灵活选择,展现了在现实场景中的应用潜力。在SYSU-MM01和Reg DB标准数据集上的实验,证明了本文所提算法的有效性和优越性。该论文共有26张图,18张表,81篇参考文献。
其他文献
目前关于Cr污染土壤的治理主要采用化学还原技术,该技术能够将毒性大的Cr(VI)转化为毒性小的Cr(Ⅲ),但随着时间的推移,Cr(Ⅲ)可以再次转化为Cr(VI),再次对环境造成威胁。稳定化修复技术可以使土壤重金属以更稳定的形式存在,因此本文基于化学还原修复技术见效快的优势及长期效果不稳定的缺点,提出采用化学还原修复技术与稳定化修复技术联合的手段对Cr污染土壤进行治理,将经化学还原修复技术得到的Cr
学位
经济社会发展对煤炭的高强度持续需求,推动煤炭行业被动式超负荷运转;党的十九大以来,国家以“双碳”目标为核心做了一系列顶层设计,一方面促进煤炭消费减量,给煤炭行业带来发展空间受限的挑战;另一方面为行业带来转型发展的机遇。煤炭地下气化作为一种洁净煤利用技术,安全性好、污染少,是前景光明的转型方向。但是目前,国家对地下气化技术的政策支持力度有限,商业化不够成熟。如何在运营过程中提高企业效益,成为推进地下
学位
刮板输送机是综采工作面的关键设备之一,既要承担运煤任务,又要为采煤机提供行进轨道,并在移架过程中用作液压支架的支点。刮板输送机的形态不仅影响刮板的运煤阻力和采煤机的牵引负载,还直接影响采煤机的行进轨迹和液压支架的调直效果,最终影响综采工作面的直线度。因此,刮板输送机的形态监测对综采工作面的安全高效生产具有重要意义。刮板输送机由多节相互铰接的中部槽组成,刮板输送机形态实则是各节处于不同位姿状态下的中
学位
浅埋煤层薄基岩下突水溃砂是顶板水害的类型之一。在我国西部地区,部分矿区采掘工作面顶板上覆基岩较薄,一旦由于煤层采动产生的覆岩裂隙带贯穿至松散含水砂层,会造成突水乃至溃砂等灾害,对矿井的安全生产和矿工生命安全造成极大威胁。因此研究薄基岩下采动裂隙带内水砂混合物的启动和运移规律及突涌特征对防治顶板水害具有重要意义。本文选取锦界煤矿31114工作面为研究区,从工程地质以及水文地质条件出发,通过理论分析、
学位
粮食安全始终是人类生存面临的主要问题之一,而农田杂草是影响农作物产量的一个重要因素。除草剂是杂草防除、提高农业生产效率的重要手段,部分除草剂由于长期使用,均已出现杂草抗性,新型除草剂的研发迫在眉睫。环己烯酮类除草剂以乙酰辅酶A羧化酶为作用靶标,具有作用机制独特和选择性较高等优点,可以防治多种禾本科杂草,在除草领域有广泛的应用前景。本论文根据活性基团拼接原理,基于具有除草活性的环苯草酮中间体O-[2
学位
独立式公共厕所作为小型公共服务建筑,是村镇的精神文明窗口,同时对提升村镇居民生活水平有着重要意义。近年来,随着厕所革命的推进,徐州地区对村镇独立式公厕进行了完善,并在村庄新建了独立式公厕,沛县已实现县域村庄独立式公厕全覆盖。但是在依然存在着一些突出的问题,不能满足村镇居民的使用需求,跟不上村镇的发展步伐。本文以沛县为例,针对村镇独立式公厕目前存在的问题,从建筑学的角度出发,提出设计原则与策略,以期
学位
锡林郭勒是京津冀地区的天然生态屏障,也是北方重要的煤电基地。锡林郭勒地处干旱半干旱地区,畜牧业发达、矿产资源丰富,但生态却极其脆弱。历史上的锡林郭勒兼具现代工业文明以及少数民族地域的特征,具有浓厚的文化底蕴,而如今过度放牧、矿产资源开发等一系列人类的活动,严重威胁着区域的生态安全。因此,综合评价锡林郭勒生态脆弱性,对于干旱半干旱地区的生态保护以及京津冀风沙治理具有积极的意义。本文以内蒙古锡林郭勒为
学位
风井是矿井通风的“咽喉”,是矿井安全生产的重要保障。然而,井筒在长时间服役过程中,由于跨越地层多,地质条件复杂、环境恶劣等因素会导致井壁发生裂缝等微小变形,微小变形的长时间积累会导致井壁浆皮剥落、甚至会引起井筒断裂突水等重大恶性事故。因此,使用可靠且高效的井筒井壁巡检技术对风井井筒进行监测具有重要意义。由于井筒结构的复杂性、服役环境的多样性和检测方法的局限性,目前井筒的巡检工作只能依靠人工架设在井
学位
伴随数据收集方式多样化和存储设备性能的提高,股票市场不断累积高频数据,实时记录的交易数据是股票市场运行进程的精确刻画和风险预测的重要素材。充分利用数据资源,预测股票市场未来发展趋势,是提升风险管理时效性的重要抓手。然而,不同时段内股票市场的波动模式不尽相同,将相同波动模式的交易日分为一类进行预测,有助于提高预测精度。同时,交易数据的频率混杂、离群值等固有属性,使得函数型数据分析的优越性逐渐凸显。鉴
学位
力学模拟试验是研究深埋工程相关力学问题的主要手段,而加载系统的加载效果相符度是决定其结果是否可靠的关键因素之一。鉴于国内外对钢质液压囊加载效果相符度的研究较少,本文采用试样试验、数值模拟与物理试验的方法,研究了钢质液压囊的加载效果相符度,取得了以下成果。首先,边界摩擦效应是影响模型试验系统加载效果的重要因素,所以本文对边界摩擦减阻措施进行了专门研究,通过剪切试验测试了添加减阻结构层后界面的摩擦系数
学位