面向分布式文件系统的基准测试框架研究与设计

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:ytfonrt
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算技术的不断发展,需要存储的数据正在以指数型增长,云平台环境变得更加复杂和多样化,人们对数据存储性能的需求也日益上升和不断改变。作为云平台的基础组件,分布式文件系统为整个云平台提供了高效可靠的海量数据存储能力,成为当前流行的数据存储解决方案,因此分布式文件系统性能的优化和提高对整个云平台性能的提升至关重要。然而,当前并没有针对分布式文件系统的通用评测框架,通过统计模拟的方式对复杂的云环境I/O负载进行真实地模拟。而且云环境I/O负载的异质性以及分布式文件系统自身的复杂性使得其性能评测困难重重,如何对其进行真实高效地测试并使得测试报告能够对系统的性能优化、容量规划等提供指导意义,已经成为当前的热点研究问题。在对分布式文件系统的评测过程中,本文其影响因素分为两类,第一类是预设数据集,即如何预先生成文件、目录等以对其进行I/O操作。在分布式文件系统中,元数据服务器对文件的元数据进行管理,数据的特征会影响其I/O操作的性能。因此,实验数据集是非常重要的评测因素。本文从文件副本数、目录深度、文件数量、文件大小、文件类型等方面对其进行研究并验证。第二类是I/O请求到达模式。这也是非常重要的负载因素,然而许多的评测框架都把这些指标给简化了,通常以固定速率或者泊松过程代替,这在云环境中是不合适的。为了解决这个问题,本文深入研究了云环境I/O请求特征,将其分成了四个部分:(1)I/O请求到达速率;(2)I/O请求到达时间间隔;(3)周期性;(4)I/O请求数据。这四个特征共同作用生成真实有效的I/O负载。本文对这四个特征进行详细论述,并阐述在评测过程中如何生成同时满足这四个约束条件的I/O负载,在实验部分对其正确性进行了验证。最后,本文依据灵活性、可扩展性、易用性等原则设计并实现了一套分布式文件系统基准测试框架。通过简单地配置信息,该框架便能够模拟云环境I/O负载,对通用文件系统进行有效的性能评测,对用户在性能对比、优化等方面有所帮助。本文详细说明了其设计和架构。
其他文献
云服务的成功关键因素是其从一个托管服务发展为Web应用,以满足外包方案。随着云计算研究的逐步深入以及快速发展,业务流程管理也与云服务相结合产生了所谓的“业务流程即服
事务是由一组数据库操作序列组成的,具有ACID特性。然而,在大规模分布式应用环境下,传统的事务模型是不适用的。在考虑系统性能的情况下,并不总是采用完全的隔离性级别,即可
传统语法学定义的最大语法单位是句子。想要通过计算机分析孤立的词义或句义进而理解整个篇章内容是不可行的,因为它们之间存在着明显的语义跨度。而句群作为句子和篇章之间
雷达辐射源信号分选是现代电子战系统中至关重要的环节,也是进行雷达特征提取、识别以及威胁评估的前提和基础。随着现代雷达技术的不断发展,频率捷变、频率分集、重频参差、
在数据网格中,通过数据复制为地理上广域分布的用户提供多个数据副本,能够减少访问延迟,增强数据局部性,提高数据的可靠性,和分布式应用的可扩展性及性能。而数据复制技术的
沥青高速公路路面裂缝自动检测技术对于整个高速公路路面养护管理系统有着非常重要的意义。传统的人工检测方法已经不能满足现代检测的需求,随着计算机技术的发展,路面检测技
随着信息技术在管理上越来越深入而广泛的应用,管理信息系统的实施在技术上已逐步成熟。从实用性和经济性考虑,构建基于Web技术的网络管理平台是大多数院校教学管理的一个重
非线性科学是一门研究非线性现象共性的基础科学,其中混沌理论是非线性科学的一个重要分支,混沌现象是20世纪人类最重要的科学发现之一。在过去的20多年时间里,随着人们对混
计算机快速发展的网络时代,快捷、方便、廉价的数字传输手段为人民获取和交流信息带来了极大便利;同时,计算机应用软件的发展也大大带动了办公自动化的发展进程,信息的传递、共享
随着市场经济的快速发展,制造业的生产规模日益增大。实际生产中,各种工艺约束,资源约束,生产能力约束等平行存在,这就需要对生产作业进行合理的调度安排。而一个好的调度安