基于云计算的异常流量检测系统的实现

来源 :天津理工大学 | 被引量 : 4次 | 上传用户:love283805004
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网异常是指影响网络性能或造成数据破坏的事件,这些事件通常会引起某些流量特征违反某种已建立的模式或标准,分析流量特征在异常情况下的变化,并以之为基础进行异常检测的应用研究,可以及时地发现网络异常、诊断网络错误,对互联网的安全运行和管理具有重要的意义。NetFlow是一种数据交换方式,一个NetFlow流定义为在一个源IP地址和目的IP地址间传输的单向数据包流,且所有数据包具有共同的传输层源、目的端口号。Netflow数据中包含了网络异常检测所需要的流量特征,可以利用Netflow数据所提供的网络流量特征分析当前网络所处的状态。目前的基于Netflow的异常检测尚有很多不足:1)高的误检率;2)多数方法难以达到高速链路的实时在线检测需求;3)Netflow数据量较大,对于历史数据不能有效的存储;4)全网异常检测方法较少且问题较多。云计算通过整合互联网络中的闲散资源,对外提供强大的存储和计算能力,以及一些其它解决方案。Hadoop是一个开源分布式数据处理框架,被用于高效地处理海量数据。由于Hadoop具有可伸缩性、高可靠性、低成本性和高效性等优点,已成为一种流行的云计算开发平台。Hadoop提供了云计算所需要的众多功能:HDFS分布式文件系统、MapReduce计算模型、HBase分布式NoSQL列数据库等。利用云计算开发平台我们可以解决网络数据存储和异常检测的众多问题。本文以互联网异常流量特征的分析为基础,利用Hadoop云计算开发平台,进行异常检测的应用研究,实现了一个基于云计算的异常流量检测系统。本文主要研究内容和贡献如下:1.提出一种基于包数据流量特征的分析方法,并应用这种方法对流量特征的异常变化进进行了分析。主要结果是正常流量特征分布在小的时间尺度上具有一定的稳定性,而异常流量会导致部分流量特征的分布产生明显的变化,从而打破这样的稳定性。2.提出了用于检测互联网异常的十维异常流量分析指标,利用分析指标的变化情况分析网络中存在的异常流量,使用分析指标的不同变化检测网络中未知的异常流量。3.利用Hadoop搭建云存储平台,利用HDFS分布式文件系统存储大量的netflow数据文件,HDFS有着高容错性的特点,并且设计用来部署在低廉的硬件上。HDFS的高吞吐量使得其尤其适用于大数据集的程序。4.将MapReduce计算模型用于异常流量分析的过程之中,简化了计算步骤,加快了方法的检测效率,增强了异常流量检测的实时性。
其他文献
作为能够快速、无痛苦、准确并且可以提前诊断的诊病方式,中医学的手掌诊病得到了普遍的认可。中医专家根据手掌不同位置、不同的纹理、色泽等信息就可以得出诊断,这样就可以
随着科学技术的发展,工业和生活的用水增加,排放的污水量增加,为了让人们能喝到干净的水,污水处理技术在人类生存的迫切需求之下快速的发展;污水处理过程不是一种简单的污水
图像分割是图像处理领域的关键环节,在医学图像处理、视频图像处理、遥感卫星图像处理等方面都有重要的应用。在对遥感图像进行预处理的基础上,采用图像分割方法能够有效提取
随着万维网的迅速发展,网络上的数据量越来越大,并且仍保持着高速的增长,网络中的海量数据正在成为一个最重要的信息源。在这些饱含数据信息的网络资源中,由于半结构化信息有很多
洪水是一种危害极大的自然灾害,给国家和人民带来了极大的生命财产损失。随着科学技术的进步,特别是水文学、计算机技术的发展,人类通过对洪水成因数学模型的逐步完善,以及先
当今信息社会中,数据爆炸式增长且数据的重要性也日益凸显,使得人们对于存储备份系统的数据可用性、系统扩展性和备份恢复速度等提出越来越高的要求。典型的云备份系统架构包括
无线mesh网络是一种新型的多跳无线网络,具有组网灵活、网络覆盖率高、非视距传输、健壮性高、前期投入少等优点,是一种具有光明前景的组网,为充分利用正交信道,提高网络吞吐量和
如今,人类社会已经步入了信息化高速发展的时期,信息在社会生活中起举足轻重的地位。与此同时,海量信息数据的存储也越来越被人们所重视。尤其是近几年高清视频的广泛应用,大
本文提出了一种变异动态蚁群算法(MO-ACS)的多约束QoS路由模型。该模型是在多约束QoS模型下,通过优化蚁群算法的路由策略和引入遗传算法的变异算子来提高蚁群算法的路由寻优
能见度是影响道路交通安全的重要气象因素。随着科学技术和我国国民经济的快速发展,特别是交通运输业的迅速发展,海、陆、空等各种交通工具的增加和速度的提高,使得能见度这项气