论文部分内容阅读
近年来,监控系统的普及给传统的人工监控分析带来了巨大的挑战,从而促进了智能监控系统中自动检测、识别、分析等应用的发展。其中,基于行人重识别的智能视频分析成为计算机视觉研究领域中的重点和热点,在打击罪犯、灾难预警、安防安保中发挥着越来越重要的作用。利用深度学习、度量学习等机器学习算法解决相同身份行人的匹配问题已经成为行人重识别的主流研究方向,但是,由于视角差大、光照变化、遮挡严重等因素的影响,稳定精确地实现行人重识别仍然是亟待解决的问题。本文以实现行人的鲁棒性重识别为主要研究目标,从单帧重识别、非时序多帧重识别、时序多帧重识别和视域匹配四个方面展开研究,实现了行人的稳定重识别,主要工作如下:首先,在单帧重识别问题中,针对传统的特征级融合中低维度特征容易被高维度特征淹没而引起判别性能下降问题,提出一种新的决策级融合方法,通过对特征与排序的结构化输出结果构建联合特征,利用结构化支持向量机有效权衡多特征光照的不变性和辨别力,使其决策达到全局最优;针对全局度量在具有复杂光照的多峰数据上无法同时满足类内紧密性和类间可分性的问题,利用LC空间中的颜色转移不变性,进行多模式度量挖掘,更好地衡量多模分布下数据点间的距离,提高了多模光照分布下的识别率。其次,在非时序多帧重识别问题中,针对如何利用多帧图片的互信息提高识别率的问题,提出了基于多示例卷积神经网的重识别方法。通过Siamese卷积神经网提取示例对判别性特征,并借助多模回归获得相似度度量,然后利用集体决策原则联合各匹配对的相似性信息在多示例卷积神经网中对包级样本进行联合优化;在此方法中,设计了M3P池化层以联合多示例特征成为包级特征,从而弱化伪样本的影响,通过反馈机制优化网络参数实现更加精确的模型学习。再次,在时序多帧重识别问题中,针对外貌和运动信息匹配不同步的问题,提出了多源特征提取及度量学习方法。针对外貌和运动特征,分别通过树形结构优化和光流法优化的方法进行视频片段分割,然后利用考虑伪样本估计的多示例度量学习方法实现最优片段匹配和最佳度量的联合学习。最后,在相机视域的像素级对应点匹配问题中,针对匹配点在不同相机中外部形态差异很大无法进行关键点匹配的问题,提出了基于强鲁棒性时空活动性特征的视域匹配算法,增强了特征的唯一性,提升了匹配的准确率;利用时空活动性特征和行人本质属性特征共同构建能量方程进行匹配,不依赖单应性矩阵,增强了算法实用性。综上,本文通过对不同条件下行人重识别问题的深入分析,研究了鲁棒性特征的挖掘与匹配方法,在一定程度上丰富了行人重识别数据分析方法,促进了行人重识别领域的研究,具有一定的理论意义与应用价值。