视频监控中的异常事件检测方法研究

来源 :山东大学 | 被引量 : 1次 | 上传用户:jill_bai
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,全球范围内运动场馆、节日庆典现场以及大型商业区等公共场所内群体性安全事故频发。为此,各国积极推进“平安城市”项目建设,以维护社会公共安全,减少群众生命财产损失。“平安城市”建设首要任务是信息获取,现阶段通过构建全面立体的安防视频监控系统以实时获取公共区域信息是最为有效的方式。因此,机场、火车站、商场等公共场所安装大量监控设备。然而传统视频监控系统主要依赖人工观察,效率低下。当前随着人工智能技术的发展,研究自动分析理解视频内容并从中提取关键信息的智能视频监控系统,以促进“平安城市”向“智慧城市”转型,逐渐成为热点问题。异常事件检测是智能视频监控系统中核心研究内容之一,旨在利用通过深度学习与机器视觉方法,自动地从视频序列中发现由监控目标(行人或汽车等)引起的和常规事件模型差别较大的事件,并及时发出警报。本文针对视频异常事件检测中训练样本充足、训练样本不足以及无训练样本三种情况,聚焦全监督异常事件检测、半监督异常事件检测和无监督异常事件检测三个问题开展研究,同时针对由人类活动引起的异常事件检测问题进行深入探讨,主要研究方法和创新点如下:1.针对正常事件样本和异常事件样本均容易收集(训练样本充足)的情况,本文同时使用正常事件样本和异常事件样本作为训练数据,提出了一种基于边界度量学习的全监督异常事件检测方法。与已有全监督方案只能检测训练数据中出现过的已知类型的异常事件不同,所提方法能够利用训练数据中少量已知类型的异常事件的先验信息,实现多种未知类型的异常事件检测。主要步骤如下:首先,搭建嵌入注意力机制的空间卷积(Att-sConv)网络获取输入视频片段的空间特征图序列;继而,将空间特征图序列输入到时间卷积孪生(tConv-Sia)网络进一步提取时序信息,并基于正常视频片段和已知类型的异常视频片段对应时空特征构建四元组对比损失(QC-Loss)函数进行边界度量学习,拉近两种时空特征分布类内距离的同时扩大两者类间距离;最后,设计一种基于度量距离的异常检测策略进行待测视频片段中异常事件识别。通过Avenue和ShanghaiTech数据集上的实验表明,该方法能够有效借鉴少量已知类型异常事件的先验知识实现未知类型异常事件的检测,且与其他先进方法相比,检测精度有了一定提高。2.针对正常事件样本容易收集而异常事件样本难以收集(异常训练样本不足)的情况,本文仅使用正常事件样本作为训练数据,提出了一种基于时空级联自编码器(ST-CaAE)的半监督异常事件检测方法。相比于现有的训练单一神经网络作为正常事件模型并进行单阶段异常检测的半监督策略,该方法设计一种由两个不同网络组成的级联结构ST-CaAE对正常事件进行更高效建模,并基于得到的两个正常事件模型开展由粗至精的两阶段异常事件检测。主要过程如下:首先,第一阶段,ST-CaAE中的时空对抗自编码器(ST-AAE)网络在正常事件建模过程中学习正常事件样本的隐层表示,并将其约束为多元高斯分布。考虑到异常事件样本无法关联该高斯分布,采用一种基于高斯分布条件概率的判别准则进行异常事件粗略检测;之后,第二阶段,ST-CaAE中的时空卷积自编码器(ST-CAE)网络采用重构策略进行正常事件模型建立,并基于重构误差开展精细异常事件检测,检测出上一阶段未能发现的异常事件,进一步提升检测效果。该方法提取光流与梯度特征立方体作为视频事件特征表达以分别检测运动与表观异常事件。通过三个公开数据集上的测试结果验证了所提方法性能优于传统单阶段的半监督方法。3.针对异常事件由人类活动引起的情况,本文基于人体骨架特征,提出了一种基于记忆增强WGAN-GP(MemWGAN-GP)模型的半监督与人相关异常事件检测方法:首先,利用姿态估计与跟踪算法提取视频中每一行人的骨架轨迹特征来描述其行为,并将其分解为两个子特征分量:全局整体运动和局部姿态变化;其次,构建全新的MemWGAN-GP模型将正常人体骨架轨迹的全局和局部特征分量联合建模为两个子过程,以挖掘正常人体行为模式;最后,基于正常人体行为模型对待测骨架轨迹同时进行重构和预测,并将重构误差和预测误差融合后用于识别异常轨迹,完成视频中与人相关异常事件的检测。模型训练过程设计基于Wasserstein距离的对抗损失优化其重构和预测性能。在Avenue和ShanghaiTech数据集及其只包含与人相关异常的子集上的实验结果表明,该方法能够有效地检测由人类行为引发的异常事件。并且相较于基于其他种类特征的半监督方法,异常检测速度更快。4.针对正常事件样本和异常事件样本均难以收集(无训练样本)的情况,本文提出了一种基于自训练空间图卷积网络的无监督异常事件检测方法。所提方法在现有无监督方法基于人为假设进行异常检测基础上,使用回归策略优化基于假设的检测结果,同时利用空间图卷积网络(SGCN)实现视频场景中与人相关的异常事件无监督检测。首先提取无标注待测视频的每帧图像中所有行人的骨架特征,同时构建空间图对其进行表示以保留骨架关节点间空间联系;随后,考虑到没有人工标注的训练样本,利用非参数化且无需训练的iForest算法开展初始异常检测,对所有人体骨架图进行分类得到正常骨架集合和异常骨架集合;最后,基于初始集合作为训练数据采用自训练回归策略迭代更新一个由SGCN构成的异常得分模块,并在迭代过程结束后,使用训练好的模块重新计算无标注视频中每一人体骨架的异常得分,用于判别异常个体,从而对基于假设的初始检测结果进行更新,完成与人相关异常事件精细检测。在Avenue和ShanghaiTech数据集及其子集上的评估实验结果显示所提方法性能不仅领先于已有的无监督方法,甚至优于部分较为先进的有监督方法。
其他文献
关于蜡烛燃烧的实验研究,人教版九年级化学教材给出实验方案和实验装置,但是操作麻烦,成功率低.现基于教材提供的实验方案结合教师日常的教学经验,设计了三个创新实验,对教材实验进行了改进.改进后的实验操作简单、现象明显、成功率高,有利于开展演示和分组实验,教学过程中发挥了很好的效果.
期刊
G蛋白偶联受体(G Protein-Coupled Receptors,GPCRs),是人类基因组中最大的一类跨膜受体蛋白家族,人类基因组中共编码800多个GPCR,广泛分布在多种组织和器官。GPCR可以通过招募下游的G蛋白及Arrestin等将光照、神经递质、激素、免疫炎症因子等细胞外刺激转化为细胞内信号,参与调节人体中大部分生理过程。另外,GPCR在多种疾病的发生发展过程中都起到关键作用,因此
学位
研究表明遗传、文化、环境及经历等因素会影响人类的大脑和行为,并导致不同种族人群间大脑结构和功能的差异。近年的部分神经影像学研究比较了东亚人和西方人的功能性磁共振成像(functional magnetic resonance imaging,fMRI)结果,发现不同种族之间大脑的语言功能、视觉空间处理功能、认知功能及其他非语言的神经功能之间都存在显著差异。此外不同种族之间大脑结构也存在显著差异,研
学位
研究背景:缩宫素(Oxytocin,OT)是经典的神经垂体激素,由下丘脑合成,沿轴突转运到垂体后叶释放,其生理作用是促进子宫平滑肌收缩和射乳。研究表明,肠神经系统(Enteric nervous system,ENS)能够合成和分泌OT。我们实验室前期研究也证明OT是一种胃肠神经肽,调节胃肠道的运动。巨噬细胞是肠道免疫稳态的主要参与者,在不同的肠道微环境下可以极化为促炎型巨噬细胞和抗炎型巨噬细胞。
学位
乙型肝炎病毒(hepatitis B virus,HBV)慢性感染加剧罹患肝细胞肝癌等终末期肝脏疾病的风险,有效控制HBV感染是预防和治疗肝癌的关键。共价闭合环状DNA(covalently closed circular DNA,cccDNA)是HBV转录的唯一模板,通过与病毒和宿主蛋白相互作用以微染色体的形式存在于细胞核,是慢乙肝难以治愈的根本原因。cccDNA的转录活性受宿主众多因素调控,其
学位
肺癌是我国发病率和致死率最高的恶性肿瘤。按照组织类型肺癌可分为非小细胞肺癌(NSCLC,约85%)和小细胞肺癌(SCLC,约15%),肺腺癌是NSCLC中最常见的亚型。三分之一的肺腺癌存在KRAS突变。虽然靶向疗法和免疫检查点抑制剂的使用有效改善了晚期肺癌患者的预后水平,仍罕有靶向KRAS的药物用于临床。Cullin-4B(CUL4B)是Cullin-Ring E3泛素连接酶复合物中的支架蛋白,参
学位
我国制造业正处于高质量发展的关键时期,人工智能为我国制造业实现全球价值链的攀升带来新的机遇。2004—2021年,中国30个省份的面板数据显示:人工智能的发展能够直接促进我国制造业出口高质量发展,并且可以通过提高制造业生产效率和创新效率两个方面间接提高制造业出口高质量发展水平。异质性检验发现,人工智能对中高低端制造业均可以产生正向影响,并且对中低端制造业的高质量发展具有更大的促进效应;人工智能对制
期刊
从工业机器人产业发展、技术应用和过度自动化视角,系统阐释了工业机器人应用对制造业出口技术复杂度的影响机理。基于跨国面板数据的实证研究发现,工业机器人应用能显著提升制造业出口技术复杂度,且在发达国家二者之间存在倒U形关系。行业异质性检验表明,工业机器人应用对发展中国家高端制造业出口技术复杂度的提升作用较大,对发达国家中、低端制造业出口技术复杂度的提升作用较大。中介机制检验发现,发展中国家劳动生产率、
期刊
“双减”政策的提出和新课程教学标准的完善对学科日常教学和作业设计提出了更加严格的标准和明确的要求,此种教学背景的变化也引发了诸多农村小学数学教师的关注,他们投入了更多时间和精力研究,发挥作业设计有效性的最佳方法。对于农村小学来说,由于师资资源比较匮乏,学生的学习兴趣不强,对于知识的整合与认知能力也比较弱,再加之缺乏引导,使得学生对于数学知识的运用能力和思考能力普遍不强,因此对农村小学数学作业进行有
期刊
软材料的粘结行为和摩擦特性受界面作用力影响,通过设计软材料的高分子结构,研究其界面作机理,调节界面作用力,可实现强力粘结以及水基润滑。软材料作为一类广泛应于粘结和水基润滑领域的有机高分子材料,其粘结性能仍需进一步提高,摩擦特性仍需进一步研究。随着材料合成制造技术的发展、新型软材料的研发以及测试手段的革新,软材料的粘结行为和摩擦特性以及界面作用机理已经成为国内外的研究热点。因此,掌握新型软材料的设计
学位