论文部分内容阅读
近年来,随着互联网技术的蓬勃发展,网络上的应用越来越多,网络拓扑以及网络环境日益复杂。网络上的负载逐渐加重,导致网络性能下降等网络安全和服务质量问题。这些问题引起了越来越多的关注。为解决这些问题,为新的网络业务进行规划,需要对网络的性能指标进行分析,对网络服务质量进行监控和评估,从而评估网络的总体性能。如何对海量的测量数据进行统计分析,从中得出网络总体性能情况,是网络测量的研究重点。在现有技术中,网络测量的数据分析操作大多采用集中管理的平台。由独立的一个管理平台同时对多个测量探针的海量测量数据进行采集与分析,无法保证数据的完整性和可靠性。另一方面,在面对海量的测量数据时,因其计算能力有限,不具备对海量数据进行分析的能力。随着云计算技术的推广,利用云计算平台强大的计算能力来处理海量数据,已经成为当前网络测量的研究与发展趋势。分布式业务性能采集与海量数据分析系统利用Hadoop平台的MapReduce计算模型,解决了海量数据的快速计算的问题,并运用性能评估算法,从海量测量数据中分析出网络的整体性能情况。在Hadoop框架的任务分配和失效容错原理的基础上,为系统添加了任务分配和节点失效容错机制。本文首先介绍云计算和网络测量相关研究情况,简要介绍了网络性能指标和网络性能评价方法;其次,根据实际网络测量中遇到的问题,对系统做了需求分析,根据一定的设计原则进行功能划分和性能要求;再次,在需求分析的基础上,对系统从总体架构到各模块进行了由总体到部分的设计与实现;最后,搭建测试环境,对本文中实现的系统各功能进行了测试,并分析测试结果,证明本系统能够满足分布式环境下网络测量的需求。