论文部分内容阅读
随着当前监控视频数据的爆炸式增长,如何高效分析视频中的数据内容,并使其为智慧城市服务成为近年来关注热点。其中,对监控视频数据的分析,主要涉及对视频中目标进行定位跟踪以及精细化属性识别两个领域。本文针对上述领域分别研究视频目标跟踪以及目标属性识别等工作,并分别结合多任务学习方法,实现相应的高效算法。其中主要成果有以下两方面: (1)在目标跟踪领域,尤其是多模态目标跟踪中,仍存在诸多问题。一方面,对每个模态质量的评估方法对多个模态的融合机制至关重要;另一方面,每个模态中的局部信息同样能够提升跟踪目标特征表示的鲁棒性。因此,本文针对如何挖掘目标区域的关联关系以及高效融合多个模态信息这两方面进行改进,提出一种基于多任务拉普拉斯稀疏表示的多任务目标跟踪算法。具体实现方式为:给定第一帧某跟踪目标的真值包围盒,该算法首先提取多个不重叠的局部图像块集合,并通过多任务联合学习的方式实现可见光和热红外两种模态下的目标特征的稀疏表示。然后,将两个模态的特征连接成一个特征向量用于表示目标包围盒的特征。其次,我们利用拉普拉斯约束将每一个图像块之间的相似性引入到已有模型中,进一步优化稀疏表示中的稀疏系数,构成拉普拉斯稀疏表示。与此同时,该算法结合两种模态之间的利弊优劣,引入新的模态权重计算方式,将更准确的模态权重引入到拉普拉斯稀疏表示模型中,实现多个模态数据之间的自适应融合。为验证所提出的模型有效性,本文采集了一个全新且涵盖多种挑战的可见光-热红外多模态目标跟踪数据集,并对现有公共数据集进一步扩展,最终在这两个数据集上运行大量对比实验进行分析,验证该模型相对于多种单模态目标跟踪算法和多模态目标跟踪算法的有效性。 (2)对视频中车辆目标属性,现有方法常将每个车辆属性作为一个单独任务进行研究,这类方法一方面忽略车辆多个属性之间的共同信息,另一方面会增加整个车辆属性识别系统的硬件配置要求。因此,为了克服上述问题,并实现对车辆属性的精细化识别分析,本文提出一种基于多任务卷积神经网络的车辆属性识别算法,同时实现车辆类型和车辆颜色的识别。该算法主要流程为:首先,根据车辆属性数目设计多任务卷积神经网络结构,并准备相应多属性车辆数据集;然后,利用此数据集训练多任务卷积神经网络模型;其次,根据该网络模型输出的车辆类型结果,设计相应的车辆掩膜,并将车辆掩膜加入到原图像中;然后,利用加入掩膜处理后的图像训练SVM分类器,并进行车辆颜色识别工作。最后,在由高速卡口相机抓拍的大规模高清车辆图像数据集上进行测试。同时,本文最后在所构建的卡口车辆图像数据集上对该算法的有效性,并对比加入车辆掩膜对车辆颜色识别的影响,验证其合理性。