论文部分内容阅读
近年来,随着云计算领域的研究和发展,Hadoop分布式平台也一直备受关注。Hadoop是一个开源的分布式基础架构平台,主要包括分布式存储系统HDFS和分布式计算框架Map Reduce。随着业界对大数据处理的需求和研究,Hadoop平台已经从版本1发展到版本2,最主要特点是增加了YARN资源管理组件改进了Hadoop平台的体系结构。目前,Hadoop平台已经适用于web搜索,机器学习,商业分析,生物计算等多种大数据领域。Hadoop使得用户可以在不了解分布式底层细节的情况下,开发分布式程序。但是,如何高效的使用Hadoop平台,提高Hadoop集群资源利用率,改进用户程序性能等,给用户带来了挑战。本文针对以上问题,设计和实现了一个针对Hadoop平台的基准性能测试工具,主要包括三个组件:全面而又具有代表性的负载发生工具、Hadoop集群资源监控工具和Map Reduce运行性能追踪工具。利用以上工具完成以下测试内容:(1)利用全面的负载测试程序集合完成Hadoop平台性能的评测工作,包括HDFS的读、写性能,Map Reduce针对不同类型负载性能和YARN平台性能。(2)资源监控工具可以实时观察Hadoop平台资源利用信息,包括CPU、内存、磁盘和网络等,可以完成负载类型分析等工作。(3)性能追踪工具完成了对Map Reduce程序运行过程信息追踪,方便用户理解负载运行特征,找到性能瓶颈,进而优化用户程序。本文实现的HDFS读写性能测试程序IMP-DFSIO,相对于Hadoop自带的Test DFSIO程序更稳定和具有说服力。本文还重点实现了Map Reduce性能追踪工具Perf Trace,通过BTrace脚本语言提取Map Reduce模型每个子过程的信息,方便用户分析程序性能找到性能瓶颈,进而优化程序性能。