近年来,随着经济水平的提高和社会活力的增强,人们正面临愈加复杂的生活与工作环境,对安防监控也有更高的要求。作为智能安防监控系统中的核心技术之一,异常行为检测技术吸引了大量研究者的关注,它能够全天候的对异常行为进行智能预警,在极大提高监控效率,节省人工成本的同时,有效阻止了危害公共秩序的事件发生。本文对安防监控场景下异常行为检测的关键技术进行研究,包括无监督异常行为检测中行为的表示与建模,以及离群点检测技术两个方面的内容。1)无监督异常行为检测中行为的表示与建模:为了解决现有基于深度生成模型的方法中存在的由恒等映射引起的特征学习不充分问题,本文提出了基于预测和跨模态生成的双流时空异常行为检测算法,旨在充分挖掘时空特征的同时避免训练过程中产生恒等映射的风险;同时,为了使模型具备自主关注重要区域的能力,本文进一步引入自注意力模块,帮助模型更好地关注前景信息;实验表明,本文的时空网络可以有效地抑制恒等映射,改善时空学习的效果,自注意力模块的加入也帮助网络具备了一定的重要区域关注能力,模型整体效果提升明显。2)无监督异常行为检测中的离群点检测技术:本文发现并指出了基于深度生成模型的无监督异常行为检测方法中存在的“边界学习的不受控现象”,并通过分析认为主要是由训练数据不充足,分布不均,以及网络的泛化性能所造成,为解决这个问题,提出了基于对抗样本和对抗训练的时空自注意力网络;通过实验发现,对抗样本和对抗训练的引入可以明显提升网络的检测效果,有效改善了“边界学习的不受控现象”。通过对基于深度生成模型的无监督异常行为检测算法的研究,本文首先发现并指出了当前已有方法中普遍存在的两点不足,进行理论分析的同时给出了有效的解决方案,帮助提升了异常行为检测的效果,也为后续研究提供了一定思路。