基于Hadoop的网络流量分流并行化设计与实现

被引量 : 6次 | 上传用户:qq591570317
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络流量分类对网络管理、安全预测和流量工程等方面的研究提供了重要的技术支持。随着互联网中应用种类不断出新和形态快速变化,研究网络分类的意义逐步体现出来。流量分流是网络流量分类中基础的步骤之一,然而网络流量分流因为耗时太长已经成为网络流量分类的技术瓶颈。云计算透明的、简单的编程模型在服务开发和部署方面为我们提供了新的思维方式。其中Apache公司提出的Hadoop平台是开源的云计算平台,是当前应用最为广泛的云计算平台。它使用Java编程语言实现了MapReduce编程模型和分布式文件系统HDFS (Hadoop Distributed File System)。 MapReduce模型不仅是一种简单的并行计算模型,为实现大规模计算的自动并发和分布式执行提供了可能,而且还是优秀的调度模型。HDFS分布式文件系统是以块序列形式进行文件存储,并通过复制块的方式来保证高可靠性。本文在分析了网络流量中网络流的特点之后,研究了基于MapReduce模型的网络流量分流并行处理的关键技术,并且给出了一个基于Hadoop平台的网络流量分流并行处理的设计和实现方案。首先介绍了网络流量分类的体系结构和网络流的概念以及如何进行分流。然后进行分流并行的可行性分析,提出在Linux环境下搭建Hadoop平台提取网络流量中数据包的特征,并根据规约条件将数据包归并为一个完整的数据流。最后在Linux环境下实现了本系统,利用该系统对捕获到的内蒙古大学校园网络流量进行分流,并进行了实验和验证。实验结果表明,对于大数据进行分流时该系统平台优势显著,与单机多线程相比加速比是3.33。
其他文献
职业对于个人和社会的发展都具有至关重要的意义,常常决定了个体的生活方式和生活状态,职业选择的结果直接决定着个体生活和生命质量。目前高职在校学生已超过1500万,占高校
工读学生是一个特殊的青少年群体,由于家庭教育的偏差导致他们在日常行为中具有较高的攻击性,从而无法适应普通学校的学习。目前工读学校的教育模式以行为养成教育和品德感化
<正>(一)小学生有口语基础,但不完美。小学生掌握的书面语汇少,想表达的意思找不到相应的词汇。在这种情况下,想让他们作文,是非常难的。话都说不好,词汇不够,怎能写下来呢?
篮球发展至今,要求篮球运动员身体各部位,特别是上下肢、核心力量,以及踝关节、膝关节、手指手腕全面整体的力量强化训练。力量素质是篮球比赛对抗能力、篮球专项的速度、以
冠心病合并心力衰竭可归属中医学"胸痹""心水""水肿""心悸""喘证"等范畴。本病以阳气虚为基本病机,尤其以心、脾、肾阳虚为主,气血、津液运行受阻,产生瘀血、痰浊等,闭阻心脉
为了准确迅速判断质子交换膜燃料电池(proton exchange membrane fuel cell,PEMFC)水管理子系统故障,提出基于概率神经网络(probabilistic neural network,PNN)和线性判别分
随着猪人工授精技术的广泛应用,精液保存技术越来越受重视。由于常温更适合精子的生存,并且常温保存操作简单,保存条件要求低,更适合在养殖场开展生产。因此,人工授精主要使用常温
详细介绍了信息融合技术中的D-S证据理论,并运用该理论能够处理不确定信息能力的特点,对油液分析的光谱数据和铁谱数据进行了有效的融合,解决了单独分析方法难以得到综合信息
在对机组进行DEH改造后,发现机组在运行时的调速油系统油压不稳定会有波动。之后在对机组供油系统和调速保安油系统进行详细的原因分析和跟踪调查,并且不断进行设备改进,从而
目的探讨Ommaya囊脑室植入治疗重症结核性脑膜炎的效果。方法选取2010-2014年收入我院的13例重症结核性脑膜炎患者,入院除正规四联抗结核、脱水、激素治疗外,还予Ommaya囊脑