随着智慧城市的发展,智能监控技术被用于城市道路的管理和调度,在城市路网监控与调度中发挥越来越重要的作用。异常行为检测技术既是计算机视觉领域中的重要问题,也是智慧城市建设的应用基础。正因如此,异常行为检测目前正受到学术界的重点关注,拥有巨大的研究意义。视频异常行为检测算法需要对正常视频中正常事件的外观特征与运动特征进行建模。另一方面,监控视频中天然存在的遮挡与类别失衡问题一直没能得到很好的解决。遮挡问题表现在正常或异常事件被其他前景遮挡导致信息缺失算法漏检。类别失衡问题表现在视频流时空间信息量的不均衡:比如,前景往往信息丰富样本类型多,背景则基本保持不动,样本单一。如果采用前景提取算法屏蔽背景,那么检测性能将受限于性能不佳的前景提取算法。如果对前景和背景不加区分地处理,那么算法建立的模型会专注于简单的背景上,而忽略前景的特征。正因如此,这种类别失衡会导致模型难以训练,判别能力差。围绕这两大难题,本文首先针对传统异常检测算法缺乏语义信息忽视前景背景失衡的问题,开展了基于残差网络与语义约束的异常检测研究。然后,针对视频具有的时空间信息失衡问题,本文开展了基于部分卷积与遮挡掩蔽的异常检测研究。最后,针对遮挡导致异常目标漏检问题,本文开展了遮挡鲁棒单目标跟踪算法的研究。然后,这三个部分分别属于视频异常检测框架的不同阶段,解决了不同方面的问题。本论文的主要的研究内容以及创新成果如下:1.提出了一种基于感知约束和残差网络的视频异常检测算法。该算法利用残差网络提炼视频帧内的空间信息和视频帧之间的时间信息,再结合感知损失约束提高预测帧的清晰度。在测试时,该算法使用预测帧和真实测试帧的峰值信噪比作为当前测试帧正常得分。峰值信噪比越高,当前测试帧越正常,包含异常行为的概率越低。不同于以往方法基于深度卷积网络,该算法根据监控视频帧与帧之间高度相似性,创新性地选用了深度残差网络作为预测网络的骨干网络。具体地说,该算法将大部分网络的容量用于学习视频帧的像素变化而不是视频帧的像素值。一方面,残差网络中的恒等映射负责学习背景和静止不动的前景的特征。另一方面,残差网络中的残差映射负责学习视频帧中运动物体的变化。此外,以往算法采用预测帧的像素均方误差作为损失函数,结合对抗学习提高预测帧的清晰度。该算法进一步利用了感知约束,提高预测帧同来自训练数据集的真实数据在语义空间中的相似度。因此,该算法的视频预测模块产生的预测帧在时间、像素值、语义等空间中与正常数据的具有一致性,而同异常视频帧有巨大的差异。实验结果表明,与现有的视频异常检测方法对比,该算法能够更好地增加异常视频帧和正常视频帧的区分度。2.提出了一种基于部分卷积与注意力融合的视频异常检测算法。该算将视频目标运动估计和外观特征提取分解成网络的两个部分并融合到一个框架中,解决现有基于视频预测的异常检测算法简单地将连续多帧视频堆叠,直接卷积网络提取纹理特征,没有充分利用帧间信息的问题。多个历史帧单独通过同样的光流提取网络,再经过部分卷积与遮挡掩蔽,避免了光流图变形(warp)对齐算法造成的伪象(artifacts)问题。另一方面,光流神经网络的参数可以被认为对视频内物体的正常行为进行建模。而异常行为会输出错误的光流场,造成视频预测帧误差增大。另外,该算法还采用了时空注意力机制提高预测模型对遮挡的鲁棒性。注意力机制在空间和时间上对来自不同历史帧不同位置的特征进行加权,在生成预测帧时,综合考虑多个历史帧对被预测帧的贡献,降低因为偶然对齐错误或短暂遮挡对预测误差的影响。实验结果表明,本文提出的基于部分卷积对齐与注意力融合的视频异常检测算法能够有效减缓因遮挡造成的漏检现象。3.提出了一种基于深度尺度特征的单目标跟踪算法。该算法利用迁移学习解决单目标跟踪数据集训练数据有限的问题,还分析了单目标跟踪算法在计算运动方向和尺度变化时,对卷积神经网络特征要求的不同。对外观变化和遮挡鲁棒的高层特征用来判断跟踪目标的运动方向。同时,对于浅层特征容易被其他前景遮挡干扰的问题,利用浅层神经网络不同特征通道对目标敏感度不同,该算法选择一部分只对当前目标敏感的特征通道用来判断跟踪目标尺度变化,获得遮挡鲁棒的浅层特征用于判断目标尺度变化。实验结果表明,同现有的方法比较,提出的单目标跟踪方法能够充分地利用机器视觉其他领域的成果,更好的处理跟踪目标的尺度变化以及前景遮挡。4.提出了一种基于判别图的单目标跟踪算法。该算法通过类激活图算法同时学习跟踪目标的尺度变化和判断是否发生前景遮挡,使在线更新跟踪模型参数时,降低遮挡严重的样本的干扰。也就是说,用神经网络学习一个类激活图预测目标的大概轮廓,用于判断目标是否被前景遮挡。而传统依赖目标中心置信度的算法由于网络越来越复杂抗遮挡能力也越强,难以检测到部分遮挡的发生。在发生遮挡时,本章算法采用的类激活图会产生破碎的轮廓,此时暂停在线更新跟踪模型的参数,防止正样本采样过程中将被遮挡的样本也加入了训练正样本,直到遮挡结束。因此,目标发生遮挡对跟踪模型的跟踪性能的影响会被降低。实验结果表明,该算法能够有效缓解因遮挡造成的跟踪模型参数劣化问题。