论文部分内容阅读
随着云计算技术的不断发展,需要存储的数据正在以指数型增长,云平台环境变得更加复杂和多样化,人们对数据存储性能的需求也日益上升和不断改变。作为云平台的基础组件,分布式文件系统为整个云平台提供了高效可靠的海量数据存储能力,成为当前流行的数据存储解决方案,因此分布式文件系统性能的优化和提高对整个云平台性能的提升至关重要。然而,当前并没有针对分布式文件系统的通用评测框架,通过统计模拟的方式对复杂的云环境I/O负载进行真实地模拟。而且云环境I/O负载的异质性以及分布式文件系统自身的复杂性使得其性能评测困难重重,如何对其进行真实高效地测试并使得测试报告能够对系统的性能优化、容量规划等提供指导意义,已经成为当前的热点研究问题。在对分布式文件系统的评测过程中,本文其影响因素分为两类,第一类是预设数据集,即如何预先生成文件、目录等以对其进行I/O操作。在分布式文件系统中,元数据服务器对文件的元数据进行管理,数据的特征会影响其I/O操作的性能。因此,实验数据集是非常重要的评测因素。本文从文件副本数、目录深度、文件数量、文件大小、文件类型等方面对其进行研究并验证。第二类是I/O请求到达模式。这也是非常重要的负载因素,然而许多的评测框架都把这些指标给简化了,通常以固定速率或者泊松过程代替,这在云环境中是不合适的。为了解决这个问题,本文深入研究了云环境I/O请求特征,将其分成了四个部分:(1)I/O请求到达速率;(2)I/O请求到达时间间隔;(3)周期性;(4)I/O请求数据。这四个特征共同作用生成真实有效的I/O负载。本文对这四个特征进行详细论述,并阐述在评测过程中如何生成同时满足这四个约束条件的I/O负载,在实验部分对其正确性进行了验证。最后,本文依据灵活性、可扩展性、易用性等原则设计并实现了一套分布式文件系统基准测试框架。通过简单地配置信息,该框架便能够模拟云环境I/O负载,对通用文件系统进行有效的性能评测,对用户在性能对比、优化等方面有所帮助。本文详细说明了其设计和架构。