无监督异常检测旨在仅利用正常样本建立模型,而在推理时识别出不符合正常模式的样本。无监督异常检测在工业质检、视频监控等领域有广泛的应用。近年来深度学习和卷积神经网络在许多计算机视觉任务上取得了巨大的进步,但无监督异常检测方法在处理复杂的视觉数据时难以利用数据内部的语义上下文信息的问题依然存在。针对这一问题,本文在图像和视频两种类型的视觉数据上分别提出了相应的结合语义上下文的无监督异常检测方法。在图像数据无监督异常检测任务上,本文提出了一种基于图像补全学习语义上下文的方法,通过移除图像部分区域的内容训练神经网络补全缺失区域,促进网络模型对图像内部关联知识的学习。在这一方法中,本文实现了多尺度的条状掩膜用于移除图像部分区域,实现了对不同位置和尺寸的异常的适应。本文还实现了适用于该上下文学习方法的网络结构和推理方法。在几个基准数据集上的多个实验证明,本文提出的方法可以有效利用图像内部的语义上下文信息,优于现有对比方法的效果。在视频数据无监督异常检测任务上,本文提出了一种基于缺失帧预测和记忆正则化的利用上下文的方法,通过移除输入视频片段中的部分帧训练神经网络预测缺失的帧,促进网络模型对视频片段内部关联知识的学习,通过使用记忆池对中间特征进行正则化,促进网络模型对正常上下文的特定表达。在这一方法中,本文实现了基于3D卷积的适合视频缺失帧补全的网络模型、记忆模块以及相应的训练推理策略。在两个基准数据集上的实验证明,本文提出的方法可以有效利用视频内部语义上下文信息,优于现有对比方法效果。