基于语义投影学习和深度特征学习的行人重识别算法研究

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:wymanszeto
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来在建设平安城市和构建智慧安防的浪潮下,行人重识别作为智能视频分析的关键技术得到迅猛发展,并在视频侦查、智慧安防和智能商业等领域发挥着广泛的应用前景和重要的商业价值。行人重识别任务是建立在跨摄像机场景下,目的是查找不同视角下和查询行人匹配的相关行人。早期的行人重识别是基于静止图片进行,随着技术的发展和应用的需求,行人重识别类型开始向基于视频序列、开放场景、跨模态等方向发展。由于不同视角下行人存在显著的光照差异、姿态变化和干扰遮挡,同时行人检测的不准确性进一步加大了任务的难度,使得行人重识别具有很大的挑战性。为了应对这些挑战,设计鲁棒的手工特征、学习合适的特征变换、训练判别的度量函数或者利用神经网络从数据中自动挖掘强大的特征表示是提升不同类型的行人重识别性能的关键。本文分析了行人重识别不同发展阶段的研究现状,围绕如何学习最优的特征变换和利用深度神经网络学习判别性的特征表示展开了深入研究。本文主要工作和贡献如下:(1)提出基于跨视角语义投影学习的图像行人重识别算法。针对传统行人重识别算法多数聚焦在手工特征设计和距离度量学习,忽视特征变换学习的重要性,本文提出简单有效的基于跨视角语义投影学习的特征变换算法。具体地,算法基于隐语义空间共享基矩阵学习手工特征的语义表示,建立跨视角间语义表示的关联映射,推断视角特定的语义投影矩阵。测试阶段,将测试样本和对应视角投影矩阵相乘即可得到语义表示。同时,本文将跨视角语义投影学习扩展到多视角语义投影学习中,发现利用更多视角间的相关性可以学习到更好的语义结构,提升模型性能。实验结果表明,学习手工特征的语义表示可以显著的增强特征的表达能力,提升查询的精度,有效的应对跨视角间光照差异性、姿态变化等导致的行人外观变化问题。(2)提出基于时序残差学习的视频行人重识别算法。针对视频序列中行人空间未对齐和如何有效利用视频序列中时间结构信息问题,本文基于卷积神经网络-循环神经网络模型架构,提出时空变换网络模块和时序残差学习模块。具体地,模型的卷积神经网络部分提出时空变换网络模块,该模块可以利用来自视频序列其他帧的时间上下文知识预测当前帧空间变换参数对齐行人序列。模型的循环神经网络部分提出时序差学习模块,该模块用两个双向循环结构单元来提取视频序列的通用特征和特性特征,互补特征相加的结果作为增强的视频序列特征。实验结果表明,本文所提的时空变换网络模块通过利用视频序列的时间上下文信息,可以实现平滑的对齐视频序列中前后帧行人,时间残差学习模块提取的通用特征和特性特征可以从不同方面描述行人,获得更丰富的视频特征表示。(3)提出基于动态入侵在线实例匹配的行人搜索算法。针对基于开放场景行人搜索任务中行人无边界框、标记行人样本少且存在大量未标记行人问题,本文提出无参的基于动态入侵在线实例匹配的端到端算法。具体地,算法在目标检测的框架下联合优化行人检测和行人重识别任务。为了有效训练行人识别部分,算法提出动态入侵在线实例匹配损失利用场景图像中未标记的行人。基于出现在同一场景中行人肯定具有不同身份的观察事实,给未标记的行人赋予伪标签,因此伪标记行人和标记的行人可以一起用来优化行人识别分类。实验结果表明,联合优化行人检测和行人重识别对两个任务的性能都有显著的提升,无参损失算法相比传统分类器可以直接优化特征,学习区分性更好的特征。对比同时期利用未标记行人模型,动态入侵在线实例匹配采用最小的额外内存空间,但取得最好的搜索性能。
其他文献
目前随着雷达技术呈现出日新月异的变化,其应用领域也越来越广泛,基于UWB雷达系统的人体呼吸心跳信号检测方法,是在一定区域内、隔着某些介质(如墙壁、衣物等)、且在不接触被监测对象的条件下对该目标的呼吸心跳信号进行监测并提取的技术,该技术具有远程监控、信号穿透能力高、不易受到干扰、精度高、非接触等优点。在医学检测、救援搜索、穿墙检测、现代战争及家庭日常监护都有广泛的应用价值。然而非接触式的人体呼吸心跳
氢气不仅是重要的工业原料,而且是高效的二次清洁能源,其对我国及世界发展低碳经济、改善生态环境、缓解能源危机具有重要意义。电解水制氢技术原料来源丰富、环境友好、产氢
随着宇宙微波背景辐射、大尺度结构、Ⅰa型超新星等宇宙学观测的快速发展进步,现代宇宙学研究已经从定性的描述阶段进入到了高精度测量研究阶段。高质量的宇宙学观测数据也使
自然光合作用(在本文中统称为光合作用)是“地球上最重要的化学反应”(1988年诺贝尔化学奖颁奖评语),是由几十个反应步骤组成的一个复杂反应过程。二氧化碳(CO2)还原机理以及
水氧化反应作为人工光合作用最关键的步骤之一,因其反应过程中涉及多步电子和质子转移,一直被认为是制约反应效率的速控步骤。近年来,新型碳材料因其可发生水氧化反应生成氧
红外和可见光图像匹配是计算机视觉领域中的一项重要研究课题,该技术在卫星遥感成像、无人机飞行导航和汽车安全驾驶等领域有着广泛的应用。针对同源可见光图像的匹配方法已
利用转座子或T-DNA等标签构建的植物突变体研究基因功能时,需要明确标签在基因组中的插入位点,即获得标签序列的侧翼序列。目前已开发的侧翼序列分离方法均有其优势与不足之处,随着测序技术的不断进步与发展,分离侧翼序列的方法也应推陈出新。本实验室以下一代测序技术(Next-generation Sequencing,NGS)为基础,开发出了一种高效的分离标签序列的侧翼序列方法“侧翼序列标记测序”(Fla
变电站巡检是电网管理中的重要环节。目前,我国电力系统的变电站巡检多是以纸质为主的人工巡检模式,巡检工作量大且效率低,同时传统的巡检方式难以避免漏巡检、错误抄读数等人为原因导致的设备跟踪不到位现象,不能确保设备缺陷、隐患能够及时发现,可能导致电力事故。随着智能巡检技术的不断深化应用,智能巡检将逐渐成为巡检的新趋势。首先,本文通过对国内外变电站巡检模式和巡检策略进行研究,分析了变电站智能巡检的业务、巡
紫外线消毒技术具有消毒效率高、无消毒副产物、对耐氯性的贾第鞭毛虫和隐孢子虫消毒效果明显等优点,目前被广泛应用于水消毒领域。紫外线输出量的准确测量,对紫外线消毒反应器的设计、运行及其优化具有重要意义。由于温度因素对紫外线输出量测量的影响很大,虽然国际紫外线协会(IUVA)推荐了测量空气中裸灯的紫外线输出量的方法,但并不适用于水下输出量的测量。本文研发的紫外灯紫外线输出量测量体系,不仅可以测量空气中的
水环境新兴污染物抗生素的光降解和温室气体CO2的光还原是两类受到高度关注的环境光化学过程。一方面,抗生素光降解的环境预测以及利用光化学方法对抗生素进行污染控制尚存在