基于HMM的Netflow异常流量检测方法的研究

被引量 : 5次 | 上传用户:dsvs123456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在现如今这个科技发达、信息飞速流通的社会,网络的安全越来越受人们的关注和重视。Netflow作为思科公司提出的一种数据交互方式,在监测网络中发挥着重要的作用。国内外也针对Netflow异常检测做了很多研究。但随着网络的发展,传统的基于“流”的异常检测技术存在训练样本要求大,特征提取复杂,面对未知异常检测率低的问题;而且在面对海量Netflow流数据时,目前的研究也未发现也很好的应对之策。基于以上的问题,本文的研究将隐马尔可夫模型和大数据相结合,提出了基于HMM的Netflow异常流量检测方法。本文的研究主要包括数据采集和处理,建立模型和异常检测三个模块。首先数据采集和处理模块中,利用重新设计的分布式日志采集系统Flume,将Netflow流采集到分布式文件系统。其次在建立HMM模型中,利用协议的高度规范化,实现针对Netflow数据按照ICMP,TCP和UDP三种协议进行分类。然后根据每种协议的样本流数据进行降维、量化等预处理,建立每种协议正常流的HMM模型。最后异常检测模块,根据每种协议建立的模型,针对待检测序列,分布式实现前向算法计算出观测概率。将计算得到的概率与特定的阈值进行比较,实现异常Netflow流量的检测。通过本文的研究,利用隐马尔可夫模型作为异常检测的基本算法模型,不仅需要的样本量大大减少;且不再需要针对每种攻击类型单独建模,而是根据协议分类建模,降低了复杂度,对未知的异常也有一定的检查效果。本文的方法利用分布式存储和分布式计算框架,帮助我们提供了一种解决海量数据下的异常流数据检测的办法。
其他文献
尽管中国过去27年的改革在建立市场经济制度方面取得了很大成就,中国经济仍然是一个被高度管制的经济,中国企业家在创业和经营方面仍然受到太多不合理的约束,这已成为阻碍中
<正>棋如人生,局有千变。史上有这么不寻常的六局棋,虽在案上,却如临崖,读来让人惊心动魄。其一:东晋时期,爆发了一场以少胜多的著名战争——淝水之战。东晋以八万人马,打败
语用预设是人们言语交际中常见的语言现象,在话语交际中具有重要的作用。本文以语用预设的基本特点为基础,分析了语用预设的交际功能,说明了利用语用预设特点形成的交际策略
近年来,大连市旅游业的发展取得了巨大的成就,旅游业已经成为大连市经济的支柱产业.大连市旅游业在东北地区成为"龙头",吸引着众多游客.本文在对大连旅游业的现状分析中,针对
随着人口老龄化形势的日益严峻,我国社会保障体系亟待建立长期护理保障项目。目前,国内文献缺乏对于长期护理保险需求供给市场潜力的基础性研究。为此,本文对于我国长期护理
鼻息肉病是指双侧鼻鼻窦粘膜广泛的炎性、水肿性及退行性改变。它并非是一个新发现的疾病,亦不是对鼻息肉的重新命名。近3年来MEDLINE收录的有关鼻息肉病的论述、综述共计238篇,其中与鼻息
中国传统文化与现代法治建设具有何种关联,这是中国现代法治建设的一个核心议题。在"现代/传统"二元对立范畴中,"传统"逐渐成为一种意识形态化了的话语,与传统相关的文化要素
<正>斑腿树蛙属于无尾目、树蛙科,在我国分布广泛,秦岭以南各省均有,在自然栖息地中数量较多。它们生活在海拔500~2200米的丘陵、山区,常栖息在水边的灌丛和草丛中,在稻田里也
企业获利能力评价必须剔除"规模因素"并按新会计准则下利润表中利润形成的过程设计评价指标。对企业获利能力变动进行因素分析可使用"连锁替代法"测算因素变动对毛和率变动的
随着企业国际化进程的加快,人才国际间流动也变得更为频繁。由于跨国人才薪酬设计的复杂性,很难找到统一、有效的薪酬设计方法,因此"同工不同酬"事件时有发生。本文在分析跨