分布式业务性能采集与海量数据分析系统的研究与实现

来源 :北京邮电大学 | 被引量 : 3次 | 上传用户:qxd986319
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着互联网技术的蓬勃发展,网络上的应用越来越多,网络拓扑以及网络环境日益复杂。网络上的负载逐渐加重,导致网络性能下降等网络安全和服务质量问题。这些问题引起了越来越多的关注。为解决这些问题,为新的网络业务进行规划,需要对网络的性能指标进行分析,对网络服务质量进行监控和评估,从而评估网络的总体性能。如何对海量的测量数据进行统计分析,从中得出网络总体性能情况,是网络测量的研究重点。在现有技术中,网络测量的数据分析操作大多采用集中管理的平台。由独立的一个管理平台同时对多个测量探针的海量测量数据进行采集与分析,无法保证数据的完整性和可靠性。另一方面,在面对海量的测量数据时,因其计算能力有限,不具备对海量数据进行分析的能力。随着云计算技术的推广,利用云计算平台强大的计算能力来处理海量数据,已经成为当前网络测量的研究与发展趋势。分布式业务性能采集与海量数据分析系统利用Hadoop平台的MapReduce计算模型,解决了海量数据的快速计算的问题,并运用性能评估算法,从海量测量数据中分析出网络的整体性能情况。在Hadoop框架的任务分配和失效容错原理的基础上,为系统添加了任务分配和节点失效容错机制。本文首先介绍云计算和网络测量相关研究情况,简要介绍了网络性能指标和网络性能评价方法;其次,根据实际网络测量中遇到的问题,对系统做了需求分析,根据一定的设计原则进行功能划分和性能要求;再次,在需求分析的基础上,对系统从总体架构到各模块进行了由总体到部分的设计与实现;最后,搭建测试环境,对本文中实现的系统各功能进行了测试,并分析测试结果,证明本系统能够满足分布式环境下网络测量的需求。
其他文献
针对在汽车安全交通事故中致伤率和致死率较高的两种碰撞形式,主要研究40%重叠可变形壁障正面碰撞和侧面碰撞,并按照中国新车评价规程2015版进行整车试验,通过试验后车身变形
发动机作为农用车辆的动力源,机械构造复杂抽象。基于工程设计和行业经验求解发动机活塞组、连杆组的关键建模数据,运用数字化仿真技术,实现发动机装配过程和运行状态的动态
目前,山东市2011年抗旱机具补贴程序已经启动,农机加油“绿色通道”也已开通。全市正积极组织拖拉机及柴油动力机械,对播种早、群体过旺的麦田,进行机械中耕镇压,控旺转壮。对出现
齿轮的rattle噪声通常发生在怠速时,由于拖拉机本身噪声较大,变速箱结构复杂,导致rattle噪声在时频图中难以分辨,尤其是对于小马力拖拉机。鉴于此,提出了一种基于时域高阶统