基于深度学习的网络流量异常检测研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:liudanfeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科技的发展,网络在人们的生活与经济发展中扮演着重要作用。同时网络攻击也在呈现逐年增长的趋势,给网络安全和网络秩序造成了巨大威胁。基于数理统计和数据挖掘的网络流量异常检测方法普遍存在较高的误报率和较低的准确率。传统机器学习算法的性能对特征的依赖很强,如何构造一套具有通用性的网络流量特征集是一个尚未解决的问题。随着深度学习的崛起,为网络流量异常检测的研究和发展带来新的契机。本文针对上述问题展开研究,主要贡献和创新点如下:1.设计出一个基于深度学习的网络流量二分类模型首先利用Embedding技术将离散特征变换成低维稠密的特征向量,有效的保留了离散特征之间的语义信息。该模型在传统的全连接神经网络上融合了注意力机制,加强了模型的表征能力。该模型是一个轻量级的模型,兼顾了模型的准确性与系统延时性。2.设计出一个基于深度学习的网络流量多分类模型该方法的最大亮点是将Deep FM框架应用在异常检测任务中。Deep FM兼顾了深度学习与传统机器学习的优点,FM部分提取具备记忆能力的低阶特征,而神经网络部分提取具备泛化能力的高阶特征,将这两者特征融合,有效的提高了模型分类的准确性。FM算法的应用有效的解决了机器学习算法对人工特征的依赖,让模型具备自动构造交叉特征的能力。在神经网络部分提出了A-Res Next模块,该模块将分组卷积网络与自注意力机制结合。分组卷积能够提取丰富的特征,而注意机制能够在一定程度上降低冗余特征的重要性,提高了模型的表征能力和泛化能力。3.提出一个基于深度学习的双阶段网络流量异常检测系统第一阶段利用基于深度学习的网络流量二分类模型能够快速的将流量分成正常流量和异常流量;第二阶段利用基于深度学习的网络流量多分类模型将异常流量进一步细分。该系统兼顾了准确性与系统延时性,并且能够为网络流量打标签,形成数据闭环。实验表明,双阶段检测方法对大部分流量能够快速且准确的检测,满足工业化的需求。
其他文献
对口支援作为极具中国特色的区域政策,在促进欠发达地区发展、减小我国区域差距、加强地区各民族间交流等方面发挥了重要作用。由于水资源时空分布不均匀,新疆适宜的建设用地较少。加上资源利用成本高、生态系统和环境十分脆弱等限制,新疆的工业化城镇化发展面临着巨大的挑战。在工业化城镇化进程中,新疆需要协调处理好经济发展与环境保护的关系,坚决防止走上“先污染、再治理”的老路。在新时代“高质量发展”、“绿色发展”、
古文字是历史研究的重要材料,一般依附的载体是铭器或石碑,经过处理形成拓片。研究古文字首先进行的是费时费力的古文字标注工作,本文将深度学习引入这一过程,实现古文字自动化检测。本文主要在商周金文拓片和魏晋南北朝石刻字拓片上研究古文字检测问题。通过对古文字拓片数据集的分析,发现检测过程中存在拓片背景复杂、文字分布不规律、小文字密集以及重叠检测等一系列问题。与现代文本检测不同,本文将古文字检测问题看作是目
近代以来,随着城市经济的高速发展,人们忽视了对水资源的保护,河道水环境污染逐渐成为了城市发展所面临的难题之一。受污染的河道不仅不能满足人们基本的饮用和灌溉需求,更是进一步制约了城市经济、社会等一系列的发展。在经济与社会发展的同时,昆山市也存在严峻的河道水环境污染问题。本研究选取了昆山市部分河道,共计十三条,分别是景王浜、珠泾中心河、严家角河、需浦河、江浦河、佛塘江、邵村中心河、广浦河、绿地景观河、
在工业生产流程中,缺陷检测往往是必不可缺的环节。基于机器视觉技术与三维点云数据可对工件表面进行缺陷检测,标记缺陷部位以供下游任务使用。如何实现精确的待检工件多视角三维点云重建并对其表面的缺陷部位进行准确标记,成为了缺陷检测系统中的关键问题。本文针对工业生产中工件的缺陷检测需求,设计并实现了一个基于多视角配准的缺陷检测系统;将缺陷检测问题转化为聚类问题,提出了基于聚类的缺陷检测方法;并对现有的深度学
为鼓励各国出口公平竞争、促进国际贸易发展,出口退税成为WTO框架内许可的贸易政策,进而成为各国政府调控出口的重要手段。出口退税作为一种税收措施,既涉及政府与企业的分配关系,也涉及政府之间的关系:一方面,政府通过调整出口商品的出口退税率,通过税后利润、资金约束等引导不同行业、不同企业的出口行为;另一方面,由于出口产品的生产地与出口地可能不一致,出口产品相应的增值税征管机构与退税机构可能不一致,若由中
多时间尺度耦合系统具有广泛的工程背景,而在这其中,张弛振荡普遍存在。探索多时间尺度耦合系统的动力学机理,特别是张弛振荡,一直是非线性学科的前沿话题与重点关注对象之一。近年来,探索张弛振荡的可能产生路径也逐渐成为国内外学者的研究热点。最近,一种可能诱发张弛振荡的新型动力学机制,即脉冲式爆炸现象受到学者关注。此前学者对脉冲式爆炸的研究都是针对结构简单的、形式单一的脉冲式爆炸现象展开并进行了相关报道,而
抗生素抗性基因(Antibiotic resistance genes,ARGs)作为一种新兴环境污染物在各类生态环境中广泛存在,但对其污染来源知之甚少,尤其是人类认知和行为活动很少涉及的一些典型环境(如深渊环境),以及和人类生活息息相关的环境(如饮用水环境)。为解析典型环境污染源,本论文收集整理了全球不同环境中584个环境样本构建溯源模型,基于溯源分析工具(Source Tracker),对深渊
减刑、假释制度作为我国刑罚执行制度的重要构成之一,在刑罚执行领域发挥着重要的作用。近年来,随着司法公开的进一步推进,过去少为人关注的减刑、假释案件渐渐走入人们视线。减刑、假释,除了直接关乎服刑人员切身利益,同样也关乎整个社会秩序的稳定与和谐,更关乎普通民众对刑事司法的信任感。其程序的不规范,法律规则模糊,逐渐成为行业内关注的重点问题。减刑、假释程序上的不规范,除了有现行法律规定操作性不强、刑罚执行
改革开放以来,中国经济高速发展,国民的财富完成了快速积累。2017年,在整个亚洲和太平洋沿岸地区居民财富增长最迅速的国家就是中国,财富总额相比于2016年增加了1.7万亿美元。波士顿咨询公司预计,我国个人居民可用于投资的资产将在2020年超过200万亿元人民币,以家庭为单位的高净值群体的数量会有388万户。新增的高净值群体带来了财富管理需求的增加。在互联网金融对证券公司的不断冲击下,证券公司近年来
本文试图以中国家庭追踪调查(CFPS)具有全国代表性的微观数据库为基础,采用计量实证分析的方法,通过构建社会保险缴费负担的工具变量,研究社会保险负担对居民家庭消费的影响,尤其是对低收入家庭消费的影响。同时根据其边际处理效应(MTE)对政策效果进行分析。首先,本文利用中国家庭追踪调查(CFPS)2012-2016年的数据,在保留受雇样本的基础上,剔除了党政机关、事业单位的工作人员后,描绘了社会保险负