基于深度学习的异常检测技术研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:sanshn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据与自动化时代的飞速发展,人们对于数据的正确性与自动化过程中安全性要求越来越高,异常检测任务也越来越受到人们重视。异常检测任务主要有两个挑战:首先,异常产生的机制是不确定,无法对所有异常的事件进行枚举,这样就导致无法通过固定的模式来检测异常的发生,并且随着数据爆发式增长的社会,人工检测已经远远满足不了需求,且实时性也无法获得保障;其次,异常检测任务中存在着巨大的数据倾斜问题,即正常的数据远远大于异常的数据,但往往这类微小的异常足以造成很大的问题。近来,随着深度学习的快速发展,已经有越来越多的研究工作将深度学习应用到异常检测任务中来,为了解决以上问题,大部分的工作都采用了弱监督的学习方法来训练网络模型,即只使用正常数据训练网络,在测试时加入异常样本验证模型的有效性。然而现有的工作中还存在着一些问题,异常检测任务还有很大的探索空间,主要包括:1)不能高效地提取数据中的特征,现有的方法通过自编码器提取出来的特征缺乏针对性,并且忽略了数据中的时序信息;2)人为对特征添加的先验信息使模型丧失了部分一般性。本文针对以上问题分别提出了一个方法,本文的主要贡献包括:1)基于专家乘积自编码器的异常检测算法。该方法基于双流自编码器结构提取数据中空间与时序上的特征,通过两个估计网络对不同特征进行建模以及参数估计,最后引入了专家乘积系统将不同子模型高效地结合在一起。2)基于自监督的异常检测算法。该方法提出了一个基于自监督的对比学习与基于重构的自编码器结构,通过数据增强的方式构造对比学习正负样本对,并设计了对比网络模块学习拉大正负样本对之间的距离,使编码器更加高效地提取数据内部的特征,从而摆脱对特征的预设先验,同时使用自编码器对原数据进行重构。3)本文中还根据异常检测的实际应用场景构建的仿真环境数据集,数据集包括不同场景下的不同条件(如光照,气候等)正常样本数据与异常样本数据,用来探究异常检测算法在实际应用中影响算法性能的各个因素。本文在多个公开数据集上及构建的数据集上设计了对照实验与消融实验验证了模型的有效性与优越性,在公开数据集上的表现相比于其它方法均有所提升,本文还讨论了各个模块的有效性及对性能的影响。
其他文献
关帝庙,为祭拜关公而修建,宋元时期开始在全国范围内普建,清朝更是出现了凡有府、州、县、乡必建关帝庙的盛况。清期,随清政府在西藏军事政策的加强和汉藏之间经济贸易往来的愈加密切等,汉藏间文化交流与联系的日益加强,大量的汉文化涌入西藏,并将关帝文化带入了西藏,关帝庙开始在西藏修建。西藏关帝庙是汉文化在西藏传播的重要见证,也是汉藏文化交流与互动的具体体现,更是汉藏两族同胞共同抗击外敌入侵的历史证明,具有相
随着化石能源的消耗加剧,开发绿色可再生能源转换及存储器件是全球科学家迫切需要解决的课题。在众多储能器件中,超级电容器以其倍率特性优异、循环寿命长及使用温度范围广而备受关注。作为超电中最核心的部分,电极材料的电化学活性和导电性是决定器件性能的关键。Ti3C2Tx(MXene)自2011年被Yury Gogosti教授报告以来,由于其具有导电性高、柔性好、稳定性强、亲水性好等特点,具有广泛应用于超级电
随着人工智能技术的日益成熟,人工智能与竞技体育技战术分析相融合是提高技战术分析水平的重要途径。本论文研究针对空手道运动的技术特点,来改进人体行为识别算法,以提高算法在空手道技战术分析系统中的鲁棒性、实用性。目前,利用人体骨骼数据的时空图卷积模型的行为识别算法得到了越来越多的关注,也取得了很好的效果,但是应用在空手道技战术分析中,还是存在一些不足,针对这些问题,论文开展了如下工作:(1)很多行为识别
在快速城镇化的背景下,城市生态环境出现了超负荷状态,如何在享有城镇化带给我们利益的同时,减小其负面影响,实现可持续发展,已成为亟待解决的问题。绿道以其功能的多样性和低成本的优势,已成为各国各地城市建设的趋势。实行城市绿道规划有助于推动城市生态文明建设和改善生态环境,实行城市绿道规划对生态宜居城市打造和提升城市品质具有重大意义。本文针对城市绿道规划的问题,以重庆市大足区绿道为研究对象,采用文献分析、
近年来,由于环境污染引起的饮用水安全问题,已受到全社会普遍关注。目前,瓶装水、桶装水已成为人们饮用水的主流,各种各样的净水器、饮水机等直饮水设备已悄然进入我们的家庭以及公共场所。这些直饮水设备,是将自来水进行净化消毒处理后,使其各项指标达到人们可以直接饮用的要求(即水质参数达到相关标准规定的指标),故称为直饮水。但是,直饮水设备本身是有生命周期的,特别是里面的过滤器很容易钝化,需要及时更换滤芯,直
本文考虑了具有间断系数的非线性椭圆方程的解的二阶导数在Morrey空间的正则性问题。研究了非线性微分算子F(x,D2u)对任意的D2u关于x一致满足VMO间断的条件下,建立D2u在Morrey空间L2,λ(Ω)的内部和边界(整体)正则性。本文主要研究的方程形式如下其中Ω是RN上的有界凸集,n≥2,(?)Ω∈C2,1,f∈L2,λ(Q,RN),0<λ
理解城市居民的心理健康对生态空间的响应,对合理规划建设生态空间,提升居民福祉具有重要意义。本研究以上海为案例,对102个样点居民区中的1005位居民心理健康状况开展问卷调查,结合Globeland30数据产品与天地图高分辨率遥感影像等数据,获取居民区周边1.6km缓冲区的生态空间状况数据,通过构建分层回归与分组回归模型,分析城市居民心理健康对不同类型生态空间的响应,以及不同社会经济属性的居民心理健
铁氧化物形成转化对营养物质运输、浮游植物生长及污染物迁移转化具有重要意义。Fe(Ⅲ)水解是环境中铁氧化物的重要形成途径,富含SO42-的酸性环境中水解生成施氏矿物,富含Cl-的酸性环境中水解生成四方纤铁矿。但中性环境中,Cl-和SO42-对铁氧化物形成的影响尚不清楚。Fe(Ⅱ)的非生物氧化也是形成铁氧化物的一种常见途径,过程受pH显著影响。研究多集中在Fe(Ⅱ)对其它矿物转化的影响,Fe(Ⅱ)自身
由于纳米技术行业的快速发展,对工程纳米颗粒(ENP)的关注日益增加。由于纳米颗粒尺寸小和传递有毒物质的能力高,其在环境中的迁移非常重要。工程纳米颗粒可以通过洗涤废水和工业废水等途径进入到污水处理厂,而污水处理厂中的生物处理单元中有着含量丰富的胞外聚合物(EPS),其覆盖在微生物聚集体细胞的表面和内部,因此EPS与纳米颗粒间的相互作用不可避免。纳米颗粒的团聚是影响其尺寸、输送、归宿、生物利用度和生物
多铁材料是指同时具有铁电性、铁弹性和铁磁性中两种及以上性质的材料,近年来引起了人们的广泛关注。在光、应力等外场作用下,其会产生许多独特的物理现象。铁电光伏相比于传统半导体太阳能电池,产生的光生电压能突破材料带隙宽度。并且铁电材料自身有铁电极化,极化方向能在外电场作用下发生翻转,光生电流与光电压也能随之翻转改变。这些优点显示了铁电材料在光伏领域有着极大的应用潜力。Bi Fe O3(BFO)作为经典的