基于半监督深度学习的异常检测系统研究

来源 :湖南大学 | 被引量 : 0次 | 上传用户:catmaster
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着数据科学研究的不断深入,异常检测作为数据科学中的一个重要分支受到了更加广泛的关注。异常检测是一种在大批量样本中识别和挖掘不符合预期模式的样本的技术,在网络攻击监测,结构缺陷识别,金融欺诈检测和医疗诊断等一系列实际场景中具有重要的意义和价值。在一些异常检测场景中,异常样本和正常样本的人工标注成本较高,难以使用监督学习算法。无监督学习算法虽不需要标注样本,但对样本特征的要求通常远高于一般的监督学习算法。如何充分利用少量已标注样本和大量无标注样本是当前异常检测的核心问题之一。针对这一问题,本文基于决策论,半监督学习理论和深度学习理论,对现有的半监督学习算法进行改进,提出了8种半监督深度学习算法,并设计了一个算法系统对算法进行集成,提升了异常检测的效果。本文主要工作如下:(1)现有的基于深度生成模型的半监督学习算法通过生成异常样本和正常样本的方式来提升检测效果。因为生成样本的质量较低会显著降低检测效果,所以算法对深度生成模型的要求较高。而且算法过度依赖良好的类先验概率假设,在实际应用中通常难以满足。针对这些问题,本文首先提出了NNPU-GAN算法和NNPU-WAE算法可以在不依赖于生成样本质量的情况下提升检测效果,又进一步提出了S-EM-PN算法来减少对类先验概率假设的依赖性。(2)本文基于无偏学习理论提出了无偏半监督学习理论,并提出了NNPNU算法,NNPNU-GAN算法和NNPNU-WAE算法来进一步提升现有的基于深度生成模型的半监督学习算法的检测效果。(3)半监督学习算法在实际中极容易陷入局部收敛点,可能导致得到一个比仅使用监督学习算法更坏的效果。针对这个问题,本文设计了一个算法系统对算法进行集成,使半监督学习算法能够稳定的提升异常检测的效果。最后,通过在KDD99和NSL-KDD两个异常检测数据集上进行实验,验证了本文提出的算法系统的有效性,使得半监督深度学习算法能够在多种复杂数据场景的模拟下实现稳定的异常检测。
其他文献
旁多水利枢纽上游围堰复合土工膜防渗,采用沥青粘接施工,操作简单,施工方便,经过水长时间浸泡后不易开裂,防渗效果较好。本文通过室内试验,确定复合土工沥青粘接的搭接长度、沥青加
在众多的影视作品当中,反差美学的存在使电影更具备观赏性。如影片中经常会出现角色人物设定的反差,电影剧本的反差,声音和画面的反差等,而这些反差元素造成了电影的不平衡性
报告了As2S8非晶态薄膜波导的光学截止(optical-stopping)效应的实验过程、初步结果和机理分析.介绍了硫系非晶态As2S8薄膜波导的制备工艺,以及实验光路和光学截止现象的过程
近20年来,心脏大血管手术技术进展迅速,围术期并发症及死亡率显著下降,但体外循环术后脑部并发症即脑功能紊乱发生率仍很高,据统计,体外循环手术后60%的病人有脑功能紊乱.虽
背景与目的肾上腺髓质素(adrenomedullin,ADM)是由52个氨基酸残基组成的调节循环系统功能稳态的多功能肽。本工作观察高脂膳食载脂蛋白E^-/^-小鼠动脉ADM及其受体系统一降钙素受
锦屏二级进水口拦污栅混凝土,在施工过程中应用免拆金属模板网工艺,不仅减少模板支立、拆卸及混凝土面凿毛等工序,还加快了施工进度,节约了施工投入,可供类似混凝土工程施工参考。
目的 了解哮喘患者中吸入变应原在不同年龄组中的分布状况,为有效地针对性预防哮喘提供依据。方法 于1997年5月-2005年12月,对于本院哮喘门诊就诊并行变应原测试的哮喘患者按不
【摘要】针对无线信道环境中,信道多径衰落和噪声不确定性等低信噪比情况下主用户信号检测性能较低的问题,提出一种基于循环平稳人工神经网络(ANN)的主用户信号频谱感知算法。该算法首先对信号特征参数进行提取,作为训练样本和待测样本,再采用ANN算法分别对有无主用户情况下的信号进行分类检测。仿真实验表明,与能量检测法(ED)和循环平稳特征检测法(CD)相比较,所提算法可在低信噪比情况下,不受噪声不确定性等
2002年6月5—7日,中国供销合作经济学会第四届会员代表大会暨学术交流会议在四川省成都市召开。会议期间进行了学术交流,部分同志作了大会发言,现将发言摘要刊登,以飨读者。
从社会作用和行为规制探究角度,思考对法治宣传教育进行行政规制的必要性。从信息收集和行政监督角度分析行政备案的现实作用。 From the perspective of social function a