基于Hadoop云平台的网络测量系统设计与实现

来源 :东南大学 | 被引量 : 0次 | 上传用户:havor
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着社会进步和互联网技术的迅猛发展,网络数据量逐年飞速增长且网络规模变得日渐庞大,当前对网络的性能、安全、服务质量等指标进行统计分析面临着海量数据的挑战,从而使得监控和评估网络服务质量变得越来越困难。目前,对海量网络数据进行有效合理的收集存储和统计分析已经成为一个急需解决的问题。  传统的集中式网络测量技术在数据处理过程中,存在数据存储成本过高、数据存储管理困难、处理方法耗时严重、网络测量并行处理程序编写困难等问题,网络测量需要一种新的技术来解决这些问题。因此,利用开源云计算平台的思想被提了出来。目前,基于云计算的网络测量研究尚处于初级阶段,测量过程中的海量数据收集存储,数据分析并行算法等问题还待于进一步探索,利用云计算平台的数据处理能力处理海量数据已经成为目前网络测量的发展方向,本文即为在这一发展过程中的工作成果。  本文采用Hadoop开源云计算平台提供的分布式存储系统HDFS和并行计算编程框架MapReduce,研究云计算平台下网络测量算法作业设计问题,在此基础上,实现了一个海量数据网络测量系统。本文的主要工作有:1.设计了一个基于Hadoop云平台的网络测量系统框架,满足了对海量数据收集存储和测量作业的需要;2.研究探讨了目前高速网络数据报文捕获和转发技术,引入了分布式可靠存储技术HDFS,实现了海量数据的高效收集和安全存储;3.研究使用MapReduce框架编写并行的网络测量作业,实现了基于报文的TCP传输层性能测度计算和基于流数据的用户行为分类两个MapReduce作业,通过数据实验分析验证了测量作业的正确性和系统性能的可扩展性。
其他文献
无线通信技术和计算机网络技术的发展为移动自组网络的产生奠定了基础。由于具有不需要集中式的网络管理和基础设施的显著特点,移动自组网络,即无线Ad Hoc网络,在近年来受到越来
图形处理器(GPU:Graphics Processing Unit)传统上是作为一种外设用来加速3D图形渲染,但随着其功能和性能的逐步加强,如今它已经成为一种流行的通用计算设备。随着CPU单核心性能的
从广义上讲,机器学习(Machine Learning)是以使其包括任何计算机程序通过经验来提高其任务处理性能的行为。如果机器能够真正完全地根据经验来自动提高,其影响将是空前的。为
工作流技术的研究正日益受到人们的重视。然而,作为一个新兴的研究领域,工作流还存在着很多问题有待进一步研究和解决,其中之一就是系统的安全问题。本文的研究重点是工作流
当前,电子政务已成为全球信息技术行业关注的热点。随着政务网络的层次化、分组化以及宽带化发展,政府部门越来越多的统计决策业务、日常监督检查业务、OA等管理性业务以及面
时间管理是HLA/RTI中的核心内容之一,它的基本原理和关键算法的研究是分布式仿真领域的热点问题。其中,按照HLA规范所实现的乐观推进服务也一直是分布式仿真领域的难点问题。
计算机视觉技术的研究推动了现代交通自动驾驶技术的发展,车辆检测技术是实现自动驾驶的前提和关键。由于Gabor滤波器在模式识别领域的成功应用,近年来,越来越多的研究将其引
自20世纪中叶计算机诞生以来,计算机技术就以迅猛的速度发展和普及,渗透到人类生活的各个角落。网络技术使处于不同地域的计算机被连接起来,从而使得信息可以共享和交换。特
随着现代企业需求的不断提高,分布式协同软件得到应用的范围越来越广,趋势越来越明显,然而相当一部分开发出来的系统却没有得到频繁地使用,这在一定程度上归因于系统的低可用性问
计算机支持的协同设计(Computer Supported Collaborative Design,CSCD)能够较大幅度地缩短产品设计周期,降低产品开发成本,提高产品质量和设计效率,已成为网络环境下数字化