多模态行人重识别的研究与应用

来源 :南京大学 | 被引量 : 0次 | 上传用户:sisisi22
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
行人重识别是智能安防领域一个重要的研究方向,其目的是利用查询图像去检索某个图像数据库中相关的图像,可以视为一种图像检索技术。当前行人重识别的绝大部分工作主要关注在可见光模态场景。而在现实场景中,可见光摄像头仅能拍摄白天或者光线充足条件下的行人图像,对夜间或者光线条件较差的场景的适应性较差。随着红外光摄像头的出现,在光线条件较差的情况下获取行人的红外图像成为可能,因此也有一些研究者开始关注红外光模态场景和跨模态场景下的行人重识别问题。显然由于红外光图像的单通道特性使其较可见光图像相比缺少大量的信息,因此红外光模态场景和跨模态场景下的行人重识别问题比可见光模态场景下的行人重识别问题更具有挑战性。本文针对可见光模态、红外光模态以及跨模态场景对行人重识别问题进行了研究和应用。首先,本文详细地分类总结了三种模态场景下的一些主流算法,阐述其基本原理并对相关结果进行整理总结,其中可见光模态场景又分为全监督场景、无监督场景和半监督场景三种类型,每种场景下的算法均进行了分类介绍。第二,针对红外光模态场景下的行人重识别问题,由于当前没有公开的数据集,本文首次提出了一个红外光模态行人重识别数据集NJU-IR,其主要包含1,564个行人的30,385张图像,并从行人检测、行人跟踪等角度介绍了该数据集的构建过程;同时在该数据集上对大量现有的可见光模态方法进行了实验,并针对该数据集提出了一个基准实验框架,也说明了该数据集的挑战性和研究价值。第三,针对跨模态场景下的行人重识别问题,考虑到现有的方法在特征空间表达以及损失函数设计等方面存在一定的不足,本文提出了一个基于灰度特征的改进双路网络算法,该方法在TSLFN框架的基础上,继承了基于局部特征的网络结构和异态损失,加入了灰度转化模块和全局的特征表达,提高了共享模态空间的特征表达能力并解决了其没有考虑全局特征的问题;同时ii对比实验证明了其在SYSU-MM01和Reg DB数据集上相对于其他主流方法取得了明显的提升效果,消融实验同时证明了该实验的有效性。最后,本文针对以上三种模态场景以及一些相应的主流算法,基于Python语言的Web应用框架Django实现了一个多模态行人重识别系统,用来实现在上述三种场景下对指定行人的检索识别任务并进行可视化展示,将行人重识别技术用于实际应用中。
其他文献
随着科技的飞速进步,机械化、自动化正以迅猛之势覆盖生活的方方面面,纯手工的工种、艺术品也逐渐被取代。在这种浪潮中,优秀的民俗文化、民间艺术难以普及,受众萎缩。传统手艺人基本生活无法保障,艺术创作灵感枯竭,后继无人。本片将以山西郝北村一位传统手工木雕大师——梁俊维为拍摄对象,通过对他艺术成就、文化价值的叙述,表现“梁氏木雕”的独特魅力;通过对他生活的真实捕捉,人生经历的讲述,反映当下传统手工艺人的艰
磁粉探伤是一种常用的无损检测方法,用于检测铁磁性零件的表面及近表面的缺陷,现在已成为保证产品质量的重要手段。论文针对大中功率轮式拖拉机中的关键零件——驱动轮轴,设计开发了全自动磁粉探伤系统。该系统由主机、电控系统和退磁机组成。(1)主机为满足不同功率拖拉机的驱动轮轴尺寸不同、形状相似的结构特点,设计了中心高度可调的活动托架。设计的旋转观察机构,便于操作人员观察磁痕。该主机系统经过简单调整,可作为一
2014年9月,李克强总理首次提出“大众创业、万众创新”的国家新发展战略,推动各级政府陆续出台相关政策支持全民创业创新,“创业创新”也成为全民关注的焦点。当前,各地要开创“大众创业、万众创新”新局面,其关键在营造创新创业适宜环境,吸引创新创业人才落地。天府新区是四川自贸试验区的重要组成,也是成都城市空间布局的新兴增长极核,更是创新创业的发展“高地”。天府新区基础设施建设与产业发展吸引了大量“双创”
社会的正常运行离不开对人身份的鉴定,随着社会节奏的加快,在诸如机场、车站、酒店等需要广泛进行人员、证件核实的场所通过机器代替人工完成人证比对已是大势所趋。随着深度学习技术的发展,基于卷积神经网络的人脸识别技术已经在相关应用中展现出了较传统算法而言巨大的优势,诸多优秀的人脸识别算法仍在不断刷新着各项专业竞赛的数据。将基于深度学习技术的人脸检测和人脸识别算法应用到人证比对系统当中,进一步提高人证比对系
聚天冬氨酸酯聚脲因具有优异的防水、防腐、粘附、耐磨和耐候等性能,现已开始应用于水利大坝和房屋等建筑物、风电叶片、天然气储罐金属内壁、地下管道、脱硫塔、船舶和海洋装备等应用领域。但目前对其功能性的研究较少,特别是近年来随着国家对各类工程质量要求的不断提高,制备综合性能更好和应用范围更广的功能性聚脲复合材料变得至关重要。本文以自制的改性氧化石墨烯(KGO)和氧化石墨烯/纳米二氧化钛(GO-TiO_2)
忆阻器是近几年发现的一种新型的无源元件,被认为是电阻、电感、电容之外的第四种电路基本元件,是用于描述磁通量和电荷关系的一种二端无源电子器件。忆阻器凭借自身独特的电路特性,还有结构简单,功率消耗低等优点,迅速获得科研人员的青睐,一度引发全球的研究热潮。本文提出了基于忆阻器的数字电位器和矩形波信号发生器的电路设计应用,比较了传统矩形波信号发生器和基于忆阻器的新型矩形波信号发生器的优劣,开展的具体工作如
近年来,随着传媒环境的不断变化,党愈加重视对党媒的领导,党的媒体在新闻报道方面也显现出一定的革新以适应时代的发展,其中,注重活动的整体性报道愈加凸显。对于一项大事件
近年来,物联网(Internet of Things)在技术和商业上成为了最具活力和前景的发展领域之一,而随着嵌入式设备的快速发展和5G技术的成熟,移动感知这一物联网中重要的感知手段也正迅猛发展。在人工智能大潮的背景下,物联网的感知能力作为现实世界信息的直接反映,为智能应用提供了可靠的数据基础。然而,物联网系统的构建往往局限于特定领域,不同系统的设备、数据和传输协议存在异构性,跨领域、跨平台、跨应
在经济社会转型和社会治理创新的大背景下,企业经营理念如何与时俱进,如何合理地进行绩效目标设计,从而有效提高组织管理效率以及调动职工工作积极性已成为企业亟待解决的问题。员工的工作绩效受到多方面因素的影响,管理者设置什么样的绩效目标更能调动职工工作的主动性和积极性,是学术界和企业管理层长期共同关注的问题。以往关于绩效目标与员工努力程度的关系研究大多建立在理性经济人假设的基础上,且研究结论存在分歧。本研
随着5G时代的到来,电子器件在生活中的比重变得越来越大,并趋于小型化、集成化和智能化。所以,电子器件的热管理对其实际应用提出了更高的效率要求和更多的功能要求,尤其是对即将到来的便携式5G电子设备,因为使用过程中放热会给使用这些电子设备的人带来不适甚至热伤害。氮化硼类似于石墨烯结构,由相同数量的硼原子和氮原子组成。氮化硼纳米带气凝胶是一种新型的陶瓷多孔材料,内部具有相互缠绕的纳米带,形成三维多孔的网