基于深度学习的网络流量异常检测技术研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:sharethesun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机网络与人们的日常生活越来越紧密,各种网络攻击活动也变得日益频繁,且其攻击表现形式也变得多种多样。当前大多数的入侵检测系统基于误用检测技术实现,虽然检测准确率比较高,但是无法检测出层出不穷的未知攻击。网络流量异常检测技术作为一种能够发现未知攻击的入侵检测技术,近年来得到越来越多研究人员的关注,其中通过使用机器学习算法对网络流量分类进而实现异常检测的方法是被研究最多的。由于分类模型的性能非常依赖网络流量特征的设计,研究人员大多集中时间与精力去尝试设计不同的流量特征或者流量特征组合来提高模型性能,所以这些研究普遍存在特征工程问题。为了避免这个问题,部分研究人员使用深度学习技术对原始网络流量进行特征学习,由于神经网络一般需要统一的输入,所以需要对原始网络流量进行裁剪,这样就会导致网络流量信息的损失,比如一条网络流的持续时间、网络流传输的数据包个数等。然而在已有的异常检测研究中,这些信息被证明对网络流量分类是非常有效的。针对以上所述的两个问题,即基于机器学习研究的特征工程问题和基于深度学习研究的关键信息损失问题,本文使用深度学习技术对原始网络流进行特征学习,进一步将学习到的特征与人工提取的网络流的统计特征相结合,从而得到对于网络流表达能力更强的综合特征,最终用于异常检测。本文的主要研究成果和工作如下所示:1.提出了一种基于ResNet-LSTM的网络流综合特征提取模型。该模型分两步对网络流进行特征提取,第一步综合使用ResNet与LSTM两种神经网络对原始网络流量进行自动特征学习,将每一个数据包转换为二维图像格式,输入到ResNet网络中学习每个数据包的空间特征,然后以网络流为基本单位,选取每一条网络流的前r个数据包生成的空间特征向量,将其拼接成一条特征序列,输入到双向LSTM网络中学习数据包之间的时序特征,最终输出网络流的时空特征表示。第二步人工提取每条网络流的16个统计特征,用于解决使用深层神经网络学习网络流特征时造成的信息损失。之后将这两步生成的特征相结合,得到网络流的综合特征表示,最终使用生成的综合特征进行异常检测。本文通过使用ISCX2012和CICIDS2017两个数据集对模型进行性能评估,实验结果显示,本文提出的模型在网络流量异常检测任务中获得了更好的性能。2.基于上述网络流量异常检测方法的研究成果,本文设计并实现了一个网络流量异常检测系统。首先通过对系统进行需求分析,设计了系统的总体架构,然后对系统进行模块化开发,本文对系统的各个模块组件的功能和运行流程进行了详细的介绍,并给出了部分关键功能的实现方式。进一步,本文对设计的系统进行测试,首先搭建系统测试环境,明确系统的测试项,针对每个测试项设计测试用例进行测试。测试结果表明,该系统各项功能都能正常运行,并且能够对网络异常流量进行准确的检测。
其他文献
随着网络用户隐私保护意识的增强,匿名网络的使用者越来越多。为了满足更多的用户,匿名网络中的志愿者节点随之增加。现有的中心式目录服务将整个网络的目录信息分发给每个节点的分发机制,使得其带宽消耗与节点规模呈二次方增长,缺乏可扩展性。而分布式目录服务由于没有可信的认证机制,其抵御攻击的能力有所欠缺。为了提高匿名网络目录服务的可扩展性,同时保证其安全性,本文提出了 一种混合式匿名网络目录服务架构(Hybr
学位
随着网络的飞速发展,人们对于数据安全信息安全的要求与日俱增,数据加密传输成为保护用户隐私以及保证网络安全的主要手段。但网络加密在保证用户数据保密性和完整性的同时,越来越多的攻击者也企图通过加密来隐藏攻击行为,通过Https进行C&C连接以传输指令以及通过加密绕过防火墙及入侵检测系统等,这为恶意流量识别带来了新的挑战。如何在不解密流量保护用户隐私的前提下,有效地检测恶意加密流量成为了亟需解决的问题。
学位
工业互联网[1]在工业生产,制造,销售,物流各个方面都发挥了重要作用,并且随着5G移动通信技术的广泛应用,低时延、大带宽的通信技术得到广泛普及。工业互联网中核心技术的标识解析更实在实现信息共享溯源、网络互通互联、产品设备全生命周期管理的各个方面都发挥了重要作用。但是现有的传统标识解析体系的根节点权力过大,中心节点提供集中式的解析服务,同时现有的Handle、Ecode、OID等标识解析系统标准很难
学位
近年来,随着数字货币价格的高涨,越来越多的电子设备被投入到了挖矿活动中,造成了电力和计算资源的浪费。据IBM的报告显示,挖矿木马已成为当前云环境中主流的恶意软件。对挖矿活动的检测在能源和网络安全方面都有着重要意义。币种识别是一种更精准的挖矿检测方法,有助于对挖矿活动进行更精细化的管理。本文基于Adaboost算法,提出了一个挖矿检测模型和币种识别模型,挖矿检测模型的准确率能达到97%,币种识别模型
学位
网络安全评估是网络安全研究领域一个重要方向,其理论研究成果颇丰,但其应用方向缺乏对场景特殊性和当前新技术的研究。现今应用背景下,系统部署、运行愈发复杂,系统高性能稳定运行离不开负载均衡技术。然而在微服务、容器云等技术愈发成熟的今天,现有技术框架提供的负载均衡功能仍存在不足,难以符合网络安全评估系统应用发展的需要。首先研究Kubernetes平台负载均衡策略的缺陷,提出一种自适应负载均衡算法,并在K
学位
以Docker为代表的容器技术的飞速发展,将云计算推向新的时代。容器技术凭借轻量级虚拟化、隔离性强、启动快、可移植等优势,成为企业应用部署的热门工具,可以说已经占据云计算领域的半壁江山。而Kubernetes容器编排平台自谷歌于2014年开源以来,就因其先进的设计理念、强大而完备的容器编排和集群管理能力,受到业界的高度关注,已成为容器编排领域的事实标准。本文通过分析Kubernetes及其批量任务
学位
信息化的发展与5G时代的到来将网络安全行业推向了顶峰,作为保障网络安全产品质量的产品测试环节也面临着严峻的考验。由于测试项目的时效性和不确定性以及大部分项目的不可回退性等特征,使得测试在实际的项目中所处的位置要比其他环节具有更高的风险性,并且测试风险一旦出现在项目的验收阶段,那么极有可能对项目造成不可挽回的后果,因此产品测试的风险管理从某些方面来说可以决定整个项目的成败。一个完整的项目其实测试的时
学位
学位
近年来,互联网产业蓬勃发展,网络设备数量的激增给网络服务提供商带来了巨大挑战。为了满足不同网络服务需求(如防火墙、代码转换和网络地址转换等),必须在网络中部署不同的专用硬件设备。但是,为每个新网络功能部署专用硬件设备导致网络服务提供商资本支出和运营成本难以降低。最近,网络功能虚拟化的出现为解决这些挑战提供了重大机遇。在支持网络功能虚拟化的网络体系结构中,网络服务可以以通用计算节点上的一组有序的虚拟
学位
网络安全是信息技术领域的重要内容,基于网络的入侵检测系统能防范大多数来自网络的入侵威胁。基于自编码器的入侵检测是一种基于异常的检测方法,通过学习正常流量的特征识别异常流量。在线学习环境下,基于自编码器的网络入侵检测系统存在安全隐患。由于实际网络的复杂性,在线获取的流量中可能存在异常流量。异常流量参与自编码器在线训练后,会使自编码器对该类异常流量不敏感。一方面,自编码器会因此陷入恶性循环,性能逐渐下
学位