基于图片着色的可见红外跨模态行人重识别

来源 :武汉理工大学 | 被引量 : 0次 | 上传用户:algenesis
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着白天和晚上监视数据爆炸性的增长,跨模态行人重识别成为新兴的挑战。与只处理模态之内差异的传统的行人重识别相比,跨模态行人重识别遭受了由不同类型成像系统造成的额外的跨模态差异。因此提出红外图片着色的方法来消除模态差距。但是生成对抗网络的着色方法依然存在一些问题,本文就这些问题进行一些研究。最近的各种研究工作提出了各种生成对抗网络模型,以将可见模态转换为另一个统一模态,旨在弥合跨模态鸿沟。但是,它们忽略了由于转移可见图片域而引起的信息丢失,这对于识别非常重要。为了有效地解决这些问题,本文利用红外图片中的关键信息(例如纹理和语义)对图片本身进行着色,着色后的红外图片可保留红外图片中的丰富信息,同时减少与可见图片的差异。通过对单通道红外图片进行着色,最大限度地减少了跨模态差距,提供了丰富的外观信息。如果没有对红外图片各个区域的身份信息,着色方法无法准确得到目标区域。红外图片很有可能破坏图片的身份,因此,本文提出了一种基于身份保留着色网络的跨模态行人重识别,以通过保留着色图片的身份来弥合跨模态缺口。使用孪生生成对抗网络对身份保留重建,提高着色的准确性。此外,本文还提出了一种特征级融合模型,以补充着色的转移损失。在着色的过程中一旦缺乏逐点匹配的可见-红外图片,会大大增加着色的挑战性。为了解决这一问题,本文通过生成灰度图片作为辅助信息来学习单通道红外图片和三通道可见图片的关系,提出一种灰度增强着色网络,通过保留可见图片的结构特征的灰度图片来弥补通道差距,从而提高着色的真实性。利用灰度图片的点对点变换得到的单通道到三通道的对齐监督,改进了着色处理过程。本文的研究结果需要在特定的跨模态行人重识别数据集上验证,在RegDB和SYSU-MM01数据集上进行了实验。大量的实验结果证明,使用灰度增强的孪生生成对抗着色网络可以有效增加红外图片的信息有效度,本文的方法在两个数据集中优于最近的一些方法。
其他文献
文章以2005—2020年我国25个工业行业为样本,构建基于行业技术相似度矩阵的空间计量模型,考察数字化转型对工业技术升级的具体影响及其溢出效应。研究发现:我国工业行业间存在显著的技术溢出效应,其水平随着时间推移逐渐趋缓;数字化转型与行业技术升级均存在显著的空间依赖性,主要表现为HH型和LL型的空间正相关性;数字化转型有利于推动工业技术升级,数字化转型对工业技术升级的推动作用具有显著的行业溢出效应
期刊
文本在人类的发展过程中起着举足轻重的作用,随着深度学习的发展,越来越多的学者加入到研究文本检测与识别的行列中。自然场景下的中文识别也逐渐应用到各行各业,但是它不仅受到外界因素和拍照角度、光线等的影响,也会因为自身复杂的结构以及形近字的问题导致检测和识别难度大大提升。目前的深度学习方法虽然在识别英文方面有很高的准确率,但是识别中文的能力仍旧比较弱。因此,本文以前人研究的相关技术为基础,针对中文文本的
学位
随着生物识别技术的飞速发展,基于生物特征的身份认证技术在日常生活中发挥着越来越重要的作用。其中,人脸特征采集方便,且具有稳定性、可靠性和唯一性,因此基于人脸特征的生物认证技术在安保和支付等领域得到了广泛的应用。但由于人脸是唯一且不可撤销的生物特征,一旦人脸模板泄露,用户将永远无法继续使用与人脸识别相关的服务,因此保证人脸模板的安全性对基于人脸特征的生物认证技术至关重要。然而由于人脸图像存在高类内差
学位
随着科技的快速发展,人们已经步入信息化社会,每天需要从海量数据中筛选出自己最关注的信息,推荐系统的存在就显得尤为必要。推荐系统作为解决“信息过载”的有效技术之一,一直是学者们研究的重点。传统推荐算法已经逐渐趋于成熟,广泛应用于各大网站,如:淘宝、京东、唯品会等。但是传统的推荐算法对用户来说具有黑盒的不可解释性,用户并不了解推荐的原因而只能被动的接受推荐。因此,推荐系统的可解释性研究逐渐被学者们广泛
学位
人体姿态迁移是一个新兴的研究问题,探索如何将图像中的人物从一个给定的初始姿态转换到另一个指定的姿态,并保留真实准确的纹理信息。该技术在电影编辑、虚拟现实、媒体制作等领域具有巨大的应用潜力。随着深度学习和生成模型的快速发展,越来越多的学者开始致力于这一研究方向。不同于普通物体,人体具有非刚性的特性。在人体姿态迁移任务中,从一个姿态迁移至另一个姿态是一个非线性的过程,因此传统图像生成方法难以对该任务进
学位
在机器翻译日益重要的今天,有监督和无监督方式成为训练机器翻译模型的主流方式。传统的有监督机器学习需要应用大规模的巨量平行语料进行训练,形成高质量翻译模型,从而使其的使用受到了限制。无监督翻译模型的提出,有效改善了机器翻译对平行语料的需求,但其仍然依赖大规模(千万级别)非平行高质量语料来实现翻译的高质量。因此本文研究借助少量的高质量标记来进行弱监督的多模态机器翻译。同时,在多模态的机器翻译中,图像特
学位
在移动边缘计算中,用户将计算任务卸载到边缘服务器处理,减少任务的时间延迟和能量消耗,并提升用户的体验。在现实场景中,用户移动和计算需求不断产生会影响到任务的卸载,而任务卸载会直接影响到用户的收益,因此需要高效的任务卸载策略。边缘服务器对资源的定价会影响到用户对任务的卸载,从而影响到边缘服务器的收益,因此需要高效的资源定价策略。本文在用户处于移动状态且计算需求不断产生的情况下,当边缘服务器对资源固定
学位
商业银行等金融机构积极推进高水平的数字化转型,如何在这一转型过程中通过有效的治理手段实现可持续的转型发展成为关键。本研究基于价值创造理论,结合国内外商业银行转型实践,通过扎根理论法和案例研究法,提出“价值创造三维治理模型”,以及具有适应性的治理路径和治理对策。研究发现,商业银行数字化转型的治理目标是通过价值网络中不同主体间的协同和互动提升金融资源的优化配置效率和价值创造能力,实现价值创造体系的持续
期刊
本文基于2015—2020年沪深A股上市企业的数据,采用文本分析技术构建企业数字化转型和企业价值研究模型,实证检验数字化转型对企业价值的影响及其作用机制。研究结果表明:(1)数字化转型能够显著促进企业价值的提升;(2)数字化转型能够提升创新效率,且创新效率在数字化转型与企业价值之间起部分中介作用;(3)异质性分析表明,在东部地区、高市场化地区和低环境不确定性情境下,数字化转型对企业价值的促进作用更
期刊
人脸特征点定位是指自动定位人脸特征点位置的方法,在人脸检测、人脸识别和面部表情分析等领域有着十分广泛的应用。级联姿态回归在人脸特征点定位表现优异,该算法基于初始形状,利用回归器逐步回归,逼近人脸真实形状。然而,当人脸包含局部遮挡时,人脸特征变得不可靠,从而导致人脸特征点定位和遮挡检测准确率降低,甚至导致人脸特征点定位失败。针对以上问题,本文提出如下两个解决方案:1)针对局部遮挡导致人脸特征点定位准
学位