论文部分内容阅读
近些年来,摄像器材、高性能电子产品等硬件成本下降,在现实中的运用愈发广泛,其捕获的视频数据量也显著增多。相应地,对于监控视频数据的处理和分析系统需求日益增长,例如基于目标的监控视频摘要系统,该系统以视频中存在的行人、车辆等目标作为系统的基本单元,提取各目标包含的独特信息和事件。其中,监控场景下的目标识别技术是视频分析系统对目标后续信息提取和分析的基础,诸如增强跟踪稳健性、细节提取、异常分析等任务的效果都依赖于目标识别的性能和结果。针对监控视频摘要系统,在已有基于背景提取的监控视频运动目标检测与跟踪算法框架下,本文主要完成了监控场景下的目标图像分类、车型识别、行人重识别这三个目前亟待完成或改善的目标识别子任务:1.针对监控场景中的图像分类问题,本文使用在大规模分类任务数据集上预训练的卷积神经网络模型作为特征提取器,提取图像的描述特征。之后,本文提出了一种改进的特定类字典的稀疏表示分类模型,引入了重构残差项和重构调整项(IRRCA)。通过最小化重构残差项保证了特定类的子字典对其所属类的训练样本具有良好的表述能力;最小化重构调整项反映了由不同类别的训练样本对于某个类别的子字典重构能力较弱的特点。因此整体模型的分类判别能力得到显著提升。最后,针对监控场景中的图像分类,提出了利用该字典和表述系数的分类方法。在公用图像数据集Caltech-101和VOC2012上的实验验证了该图像分类框架的性能。2.针对监控场景中的车型识别问题,考虑到目标监控视频摘要系统的实用性,本文从包含大量中国大陆通用车型样本的Comp Car数据集中整理了用于监控场景的车型分类数据集。本文选用公认的分类性能优秀、通用性强且网络深度与模型训练速度适合的卷积神经网络模型Alex Net、Google Net、VGGNet在数据集上进行模型微调。实验结果表明,对于监控场景的车型识别任务,车辆的正侧面图像包含重要的分类判别信息。针对实验结果和车辆数据特点,本文提出了针对车型识别任务的多任务神经网络,建立了车型识别与车辆正面图像、正侧面图像视角识别任务的双输出神经网络模型。通过该模型的训练,车型分类任务的识别准确率得到提升。对比实验验证了该车型识别算法的有效性。3.针对监控场景下的行人重识别问题,本文将该任务视为一个检索问题,引入度量学习的思想,试图寻找一种有效的度量方式,使得对于一张待查行人样本图像,在使用该度量方法计算其与查询样本集中的行人图像的距离后,属于同一目标的匹配图像能排在最小的相似度距离或是前若干个最小相似度距离的结果之中。投影矩阵将不同空间目标映射到一个更容易度量距离的耦合公共空间,本文受到该方法的启发,考虑到不同空间分布样本的自相关性与互相关性度量,构建了泛化的投影度量矩阵。并使用三元组的训练样本选取方法构建相似度损失函数,一定程度消除了匹配与不匹配样本数量不平衡的问题。最后使用融合了行人图像颜色与纹理信息的LOMO特征描述行人样本。在公用图像数据集i-LIDS和VIPe R上的实验验证了该行人重识别算法的性能。