基于深度学习的视频行人重识别研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:nieaobama
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着现代城市的不断建设和发展,智慧监控系统在城市建设中起着越来越重要的作用。在经济社会高速发展的同时,人们对社会安全的要求也随之提高。面对每天产生的海量监控视频数据,使用人工分析存在很大的困难。而行人重识别作为自动视频分析中的一项关键技术,近年来受到了广泛的关注。行人重识别旨在匹配非重叠摄像机所拍摄的行人图像或视频。相比于图像而言,视频提供了更加丰富的时空信息,如何充分利用视频所提供的时序信息和空间信息,是提升视频行人重识别准确率的关键。现有的一些方法利用视频帧与帧之间的空间信息互补,以获得更加鲁棒的空间特征,但是却忽略了帧与帧在时序上的关联信息;另外的一些方法采用光流或者三维卷积的方式用于时序信息的提取,但是对局部空间信息的利用不够充分,且这些时序信息的提取方式较为复杂。为此,本文的主要工作为:1)从空间特征和时间特征提取的角度,提出了一种双流网络。该网络的空间流将空间通道并行(Spatial Channel Parallelism,SCP)网络拓展到三维,从而获取鲁棒的局部和全局的空间特征;针对行人视频时序信息提取困难的问题,本文引入了一个协作时空(Collaborative Spatio Temporal,Co ST)时序特征提取模块,该模块用二维卷积的参数量实现了三维卷积的效果。最后提出了一个联合距离用于计算行人的空间特征之间的距离和时间特征之间的距离,最终的判别距离是二者的加权和。双流网络在i LIDS-VID数据集上达到92.8%的Rank-1准确率,在MARS数据集上分别达到88.1%和83.7%的Rank-1和m AP准确率,实验结果表明了基于联合距离的双流网络具有较好的重识别性能。2)针对双流网络训练复杂繁琐的问题,本文提出了一种融合了空间流和时间流的端到端视频行人重识别网络。该网络将双流网络当作一个整体,并考虑到了行人重识别在实际应用中,训练和测试的数据源可能不同这一问题,引入并改进了实例批次归一化(Instance Batch Normalization,IBN)模块,用于提升特征的泛化能力。此外,由于时序信息的提取是通过Co ST模块得到,因此其中包含了部分空间信息,为此,本文设计了一个时空特征区别损失函数来训练网络,让时间流更加侧重于时序特征的学习。同时,由于行人重识别网络是以分类网络为基础,再加上度量学习损失进行训练的。然而,重识别实际上是检索问题,而网络训练时并没有用到检索相关的损失函数。为此,本文提出了一种改进的平滑平均精度(Smooth Average Precision,SAP)损失函数用于网络的训练。最后,为了区分空间特征和时序特征二者对最终决策的重要性,提出了一个特征融合模块,从而更好地利用时空信息。端到端网络在MARS数据集上达到了88.9%和84.8%的Rank-1和m AP准确率,表明了端到端网络的有效性。
其他文献
岭南传统聚落入口处通常设有自然水景,与人们的村居日常相结合,成为地域性的文化图景。受此影响,当代岭南居住区规划设计中,在其入口空间亦常设置各式水景,作为社区门户的标志性景观节点,提供了交通、观赏休闲的空间,体现了地域文化,具有多重价值。当前众多居住区入口水景的规划设计过程常常忽视了后期使用及运维管理等问题,使得设计理想与现实状况存在矛盾冲突,造成水景建成后效果不理想、利用率不高、甚至破败弃用影响城
随着无线通信的快速发展,通信设备呈现出小型化、集成化以及多功能化的发展趋势。滤波天线由于同时集成了天线和带通滤波器两个器件的功能,能有效地缩减系统的尺寸、损耗以及成本,已成为目前天线设计领域的一个研究热点。与采用复杂滤波电路(或滤波器)来实现滤波功能的协同设计方法相比,融合及融合与协同相结合的方法不需要引入复杂的滤波电路,因此结构更简单、集成度更高、天线的辐射效率也更高。另一方面,微带天线具有重量
淀粉广泛分布于自然界,具有可再生、可降解和成本低等优点,在工业领域应用广泛。但由天然淀粉制备的材料存在加工性能差、易老化、水溶性差等缺陷,限制其广泛应用,常需对淀粉改性以改善其加工和力学性能。常见改性方法有湿法、有机溶剂法、干法等,其中有机溶剂法存在反应效率低、有机试剂水解产生副反应等问题。微波辐射技术作为干法反应的一种,具有快速简便、穿透性强、加热均匀性好等特点,在淀粉的物理、化学改性中应用广泛
从RGB图像中恢复物体或场景的三维几何是计算机视觉研究的一个基本问题。关于三维视觉的研究至少可以追朔到二十世纪八十时代。从那时起,传统的多视角几何开始发展起来用于三维重建,而且成为了许多基础应用的核心技术,如虚拟增强现实、机器人导航、自动驾驶等。传统的多视角三维重建通过先建立局部特征点匹配然后经过全局优化求解表面几何。最近由于大规模的三维模型数据集的建立,我们可以利用深度神经网络强大的拟合能力,实
杂环化合物在医药、农业和工业中均有着广泛的应用。其中稠杂环化合物因其稳定的π共轭体系,常常作为荧光材料,广泛应用于染料、光电材料、荧光探针、荧光传感器等方面。咪唑并[1,2-a]吡啶作为一类重要的稠杂环化合物,是许多生物活性分子和药物中间体的核心骨架,可通过杂环脒、醛和异腈参与的Groebke-Blackburn-Bienaymé反应(GBB反应)进行构筑。而含有咪唑并[1,2-a]吡啶稠杂环的高
水凝胶近年来以其优越的生物相容性、高含水率、高柔韧性等特点吸引了研究者的广泛关注,各种人工制备的物理化学水凝胶已经被证实可应用于生物医学、组织工程、药物递送等前沿生物应用领域,因此水凝胶是一种很具潜能的软材料,但传统水凝胶的可控性差,完全依靠被动机制进行设计的缺点却限制了其应用,近些年来得到发展的磁敏性水凝胶材料由于其具有对外界磁场产生响应的能力,进一步克服了水凝胶材料的现有缺点而成为了当前的热点
随着互联网技术、大数据技术和人工智能技术的不断发展,个性化推荐系统已广泛应用于各类电子商务平台和多媒体网站,为用户筛选信息、优化体验,为企业吸引用户、增加收益。近年来,深度学习技术给推荐系统领域带来新的进展。得益于神经网络强大的表征能力和灵活的模块结构,基于深度学习的协同过滤推荐算法和序列推荐算法克服了传统推荐算法中的许多障碍,取得了更好的推荐效果。目前,基于深度学习的推荐算法仍然存在推荐精准度、
高性能聚合物因其轻质、易加工等优点得到广泛使用,但聚合物低的导热性能限制了其在高集成电子领域的应用。聚合物的结晶形态和分子链结构会显著影响聚合物的导热性能。通过设计聚合物分子链结构、改变聚合物的结晶形态,可以得到具有不同宏观性能的聚合物。本文在聚丁二酸丁二醇酯(PBS)、聚丁二酸乙二醇酯(PES)和聚丁二酸癸二醇酯(PDS)中引入含磷离子基团(PCIG),通过改变离子单体的含量与成型工艺参数,探索
在信息时代下,越来越多的机构通过信息系统与其它机构进行业务上的协作。由于部分机构会对机构协作期间的协作活动进行造假和抵赖,给机构间的信任带来不良的影响,因此提高机构协作期间的安全性是目前网络安全领域的重要研究内容。传统的做法是引入第三方机构进行监管,然而这种模式存在着单点问题所带来的风险。区块链技术作为一种具有去中心化和数据不可篡改特点的技术,很大程度上能减轻传统做法所存在的问题。基于此,本文对机
大跨度、离岸远的航路测量是海事测绘的重点课题,水位控制是航路水深测量中的难点。为提高航路测量水位控制精度,结合粤东、珠江口、涠洲岛附近水域航路测量水位控制实例,总结了航路测量水位控制的3个关键技术:数学模型构建、布站方案设计、质量控制及精度评估。结果表明:从传递方法、基准站、水位时段3个方面评估平均海面、深度基准面的传递精度更合理;余水位订正法、最小二乘曲线拟合法水位改正精度差异小,改正中误差在水