论文部分内容阅读
近年来,全球范围内运动场馆、节日庆典现场以及大型商业区等公共场所内群体性安全事故频发。为此,各国积极推进“平安城市”项目建设,以维护社会公共安全,减少群众生命财产损失。“平安城市”建设首要任务是信息获取,现阶段通过构建全面立体的安防视频监控系统以实时获取公共区域信息是最为有效的方式。因此,机场、火车站、商场等公共场所安装大量监控设备。然而传统视频监控系统主要依赖人工观察,效率低下。当前随着人工智能技术的发展,研究自动分析理解视频内容并从中提取关键信息的智能视频监控系统,以促进“平安城市”向“智慧城市”转型,逐渐成为热点问题。异常事件检测是智能视频监控系统中核心研究内容之一,旨在利用通过深度学习与机器视觉方法,自动地从视频序列中发现由监控目标(行人或汽车等)引起的和常规事件模型差别较大的事件,并及时发出警报。本文针对视频异常事件检测中训练样本充足、训练样本不足以及无训练样本三种情况,聚焦全监督异常事件检测、半监督异常事件检测和无监督异常事件检测三个问题开展研究,同时针对由人类活动引起的异常事件检测问题进行深入探讨,主要研究方法和创新点如下:1.针对正常事件样本和异常事件样本均容易收集(训练样本充足)的情况,本文同时使用正常事件样本和异常事件样本作为训练数据,提出了一种基于边界度量学习的全监督异常事件检测方法。与已有全监督方案只能检测训练数据中出现过的已知类型的异常事件不同,所提方法能够利用训练数据中少量已知类型的异常事件的先验信息,实现多种未知类型的异常事件检测。主要步骤如下:首先,搭建嵌入注意力机制的空间卷积(Att-sConv)网络获取输入视频片段的空间特征图序列;继而,将空间特征图序列输入到时间卷积孪生(tConv-Sia)网络进一步提取时序信息,并基于正常视频片段和已知类型的异常视频片段对应时空特征构建四元组对比损失(QC-Loss)函数进行边界度量学习,拉近两种时空特征分布类内距离的同时扩大两者类间距离;最后,设计一种基于度量距离的异常检测策略进行待测视频片段中异常事件识别。通过Avenue和ShanghaiTech数据集上的实验表明,该方法能够有效借鉴少量已知类型异常事件的先验知识实现未知类型异常事件的检测,且与其他先进方法相比,检测精度有了一定提高。2.针对正常事件样本容易收集而异常事件样本难以收集(异常训练样本不足)的情况,本文仅使用正常事件样本作为训练数据,提出了一种基于时空级联自编码器(ST-CaAE)的半监督异常事件检测方法。相比于现有的训练单一神经网络作为正常事件模型并进行单阶段异常检测的半监督策略,该方法设计一种由两个不同网络组成的级联结构ST-CaAE对正常事件进行更高效建模,并基于得到的两个正常事件模型开展由粗至精的两阶段异常事件检测。主要过程如下:首先,第一阶段,ST-CaAE中的时空对抗自编码器(ST-AAE)网络在正常事件建模过程中学习正常事件样本的隐层表示,并将其约束为多元高斯分布。考虑到异常事件样本无法关联该高斯分布,采用一种基于高斯分布条件概率的判别准则进行异常事件粗略检测;之后,第二阶段,ST-CaAE中的时空卷积自编码器(ST-CAE)网络采用重构策略进行正常事件模型建立,并基于重构误差开展精细异常事件检测,检测出上一阶段未能发现的异常事件,进一步提升检测效果。该方法提取光流与梯度特征立方体作为视频事件特征表达以分别检测运动与表观异常事件。通过三个公开数据集上的测试结果验证了所提方法性能优于传统单阶段的半监督方法。3.针对异常事件由人类活动引起的情况,本文基于人体骨架特征,提出了一种基于记忆增强WGAN-GP(MemWGAN-GP)模型的半监督与人相关异常事件检测方法:首先,利用姿态估计与跟踪算法提取视频中每一行人的骨架轨迹特征来描述其行为,并将其分解为两个子特征分量:全局整体运动和局部姿态变化;其次,构建全新的MemWGAN-GP模型将正常人体骨架轨迹的全局和局部特征分量联合建模为两个子过程,以挖掘正常人体行为模式;最后,基于正常人体行为模型对待测骨架轨迹同时进行重构和预测,并将重构误差和预测误差融合后用于识别异常轨迹,完成视频中与人相关异常事件的检测。模型训练过程设计基于Wasserstein距离的对抗损失优化其重构和预测性能。在Avenue和ShanghaiTech数据集及其只包含与人相关异常的子集上的实验结果表明,该方法能够有效地检测由人类行为引发的异常事件。并且相较于基于其他种类特征的半监督方法,异常检测速度更快。4.针对正常事件样本和异常事件样本均难以收集(无训练样本)的情况,本文提出了一种基于自训练空间图卷积网络的无监督异常事件检测方法。所提方法在现有无监督方法基于人为假设进行异常检测基础上,使用回归策略优化基于假设的检测结果,同时利用空间图卷积网络(SGCN)实现视频场景中与人相关的异常事件无监督检测。首先提取无标注待测视频的每帧图像中所有行人的骨架特征,同时构建空间图对其进行表示以保留骨架关节点间空间联系;随后,考虑到没有人工标注的训练样本,利用非参数化且无需训练的iForest算法开展初始异常检测,对所有人体骨架图进行分类得到正常骨架集合和异常骨架集合;最后,基于初始集合作为训练数据采用自训练回归策略迭代更新一个由SGCN构成的异常得分模块,并在迭代过程结束后,使用训练好的模块重新计算无标注视频中每一人体骨架的异常得分,用于判别异常个体,从而对基于假设的初始检测结果进行更新,完成与人相关异常事件精细检测。在Avenue和ShanghaiTech数据集及其子集上的评估实验结果显示所提方法性能不仅领先于已有的无监督方法,甚至优于部分较为先进的有监督方法。