基于半监督的恶意流量识别深度学习方法研究与实现

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:bingqing1980
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着通信与网络技术的飞速发展,网络流量呈现了爆发式的增长,而在这些网络流量中往往混杂了威胁着网络安全的恶意流量,如何及时检测和处理潜在的恶意流量,已经成为互联网时代下实现网络安全的重要目标。近年来,机器学习应用于恶意流量识别逐渐成为研究热点,但是现有的基于机器学习的恶意流量检测方法大多是利用大量已标记的数据进行模型训练,即采用有监督的机器学习方法来实现对恶意流量的检测与识别。然而,对流量数据进行逐条标注需要耗费大量的人力物力,成本极高,且大多有标记的公开数据集规模十分有限,训练出来的模型容易过拟合,应用于实际网络场景中往往性能不佳。与此同时,随着越来越多未知攻击的出现,原有模型需要频繁更新以适应未知攻击的检测。而如果采用无监督学习的识别方法,则会因为缺乏标签数据导致模型无法识别具体的攻击应用类型。基于上述描述,本文提出了基于半监督的深度学习方法来检测和识别恶意流量。首先设计了基于半监督的CNN与SAE模型,通过预训练和再训练组合的方式,先通过大量无标记数据集进行预训练,再利用少量有标记数据集进行再训练,从而得到基于半监督深度学习的恶意流量识别模型。与传统的AE模型相比,半监督SAE模型在全连接层中使用了随机失活技术,避免了过拟合现象的产生。然后分别对数据集IMTH2019和CIC-IDS2017进行预处理,获取符合本文实验要求的训练数据集和测试数据集,并将预处理后的数据集输入到半监督模型SAE中进行分类识别实验,并与半监督模型CNN进行对比实验,最终发现半监督SAE模型在流量识别尤其是恶意流量识别领域中相比于其他半监督学习模型有着更加优异的性能表现。最后,在算法和模型的优化基础上,本文设计了一套恶意流量监控系统,以实现对网络流量中随时可能出现的恶意流量的检测与告警。系统具备了数据采集、数据分析、流量识别和数据处理的主要功能,并开发了可视化的数据展示和告警页面。通过对系统进行性能测试,验证了系统满足设计需求,也进一步验证了本文提出的算法和模型具有较强的实用性价值。
其他文献
随着科学技术的发展,保偏光纤由于其保持线偏振光的能力较强而被广泛的应用于相干光通信、干涉传感和集成化的偏振器件等领域。线偏振光需要沿着保偏光纤应力区偏振主轴方向入射才能保持偏振态,在保偏光纤对接耦合中也需要将偏振轴对准才能减少偏振态损耗,因此检测保偏光纤应力区偏振轴的方位角至关重要。目前为止的检测应力区方位角的方法主要包括基于纵向观测的识别方法、基于横向观测的识别方法以及基于端面图像处理的识别方法
随着日益增长的室内位置服务需求,基于图像的室内定位成为目前研究热点。随着机器学习的发展,图像室内定位可以转化为基于机器学习的理论模型求解。本文开展了基于图像和机器学习的室内定位关键技术研究。论文主要工作包括:(1)提出基于图像相似度和反向传播神经网络(BPNN)回归学习的定位算法。离线阶段,计算采集点图像与参考点图像之间的三种图像相似度(结构相似度、直方图相似度和余弦相似度)和相对距离作为训练数据
近年来,随着网络技术的迅速发展,网络上传播的恶意流量也呈现高速增长态势,这些恶意流量严重威胁着网络安全。因此,对恶意流量识别展开深入研究对于网络安全领域至关重要。和机器学习相比,深度学习在计算量和计算深度上都有质的飞跃,并在许多领域已经远超经典机器学习方法,包括语音、自然语言、视觉等。单任务深度学习模型已被广泛用于解决流量分类问题,但是,如果一个任务的数据量有限或者高维,那么模型可能难以区分相关与
在智能电网不断发展的过程中,电网的通信、计算、控制能力得到了极大的提升,电力物理侧和信息侧之间的交互不断增加,体现出电力信息物理系统(Cyber-Physical System,CPS)的特征。信息物理的耦合特性在提升了电网可观性的同时,也对信息侧的安全性提出了严格的要求。网络攻击通常会在信息侧注入,破坏信息正常传输并通过信息物理耦合关联影响物理侧的安全稳定运行。因此本论文针对电力CPS中网络攻击
网络流量分类在网络资源管理和服务质量保证中扮演重要的角色。随着网络数据加密和移动流的广泛应用,给传统的流量分类方法造成很大的挑战。而网络流量分类是网络资源管理和Qo S(Quality of Service)保证的一个重要组成部分。网络提供商可以利用流量分类技术,改善网络管理政策来实现更好的资源的分配和服务质量保证,从而为用户提供更好的网络服务。本文提出了一个将特征生成和LSTM(长短期记忆人工神
随着工业技术进一步发展,工业产品复杂度不断提升,各行各业对于产品的检测方式发生了变化。所需获取的信息已经不再满足于产品二维图像,而是对其三维信息提出了要求。三维测量技术能够完成对产品的三维缺陷检测,并且可以大幅提高生产效率,减少品质控制成本,对提升工业制造技术具有重大意义。应用在工业上的产品三维信息获取系统,具有测量速度快、集成程度高等特点,并且需要适应工业流水线环境下的高速检测方式,是工业制造中
无线传感器网络是信息领域的研究热点之一,可用于特殊环境的信号采集、处理和发送,是一种全新的信息获取和处理技术。受限于传感器网络自身的特点,能量问题一直是限制其应用的一个重要因素。本文对传统的SPIN(Sensor Protocol for Information via Negotiation)路由协议进行研究,从不同角度对其改进,实现网络性能在节点能耗、吞吐量和传输时延等方面的提升。本文的主要研
近年来,随着物联网的发展,边缘计算逐渐兴起,边缘计算是指在网络边缘测的分布式计算平台,更加靠近用户终端,多接入边缘计算作为云计算和边缘计算的补充,扩展了边缘计算的定义和应用,使其在网络边缘节点提供各类信息技术业务,能够同时为移动用户和固定用户提供边缘计算服务,将计算任务和数据迁移至边缘节点进行处理,从而有效节约了传送至远程数据中心的带宽。在多接入边缘计算产业蓬勃发展的大环境下,安全问题已成为阻碍其
社会的快速发展给人们的生活提供很多方便、带来很多福利,相反的,也引起一些无法逃避的环境问题,如恶劣的天气。雾霾已经成为一种常见的天气现象,不仅危害人们的身体健康,还会使户外采集设备收集的图像出现对比度低、清晰度低和色彩偏移等问题,所以在计算机视觉领域,图像去雾分支备受关注。大气散射模型结合暗通道先验去雾算法(Dark Channel Prior,DCP)虽然复原效果很好,但是依旧存有很多问题,后来
随着移动互联网的迅猛发展,通信业务种类不断增长造成网络流量持续上升,对传统网络资源分配问题提出巨大挑战。SDN和NFV技术增强了网络的灵活性和扩展性,通过网络切片能够为各种业务需求提供灵活的资源分配,在此过程中VNF的编排、部署和调度是非常关键的问题,决定了网络服务性能和用户体验优劣。同时,随着网络技术在生活中的广泛应用,人们对通信质量和数据隐私提出了更高的要求,于是SFC的安全问题就变得非常重要