基于纠删码的分布式文件系统数据块管理技术研究

来源 :电子科技大学 | 被引量 : 2次 | 上传用户:ccj5310110
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了应对持续增长的数据存储需求,大规模分布式存储系统逐渐开始采用纠删码技术,以求在保证数据可靠性的前提下减少存储开销。现阶段,多数研究以退化读问题为主题,试图解决纠删码在数据恢复过程中所带来的大量网络开销。然而,如何调整传统副本方式下的数据块管理模式以更好的适配纠删码对块组织的特殊需求,这一问题并未引起足够的重视。这促使本文研究并提出一种基于纠删码的数据块管理模式—Ecobm,它综合考虑了副本与纠删码两种数据冗余技术的优势,分析了它们对块管理的要求,能够将纠删码技术平滑地集成到传统基于副本的系统中。在对典型分布式存储系统的文件存储规律和数据访问模式进行深入分析后,本文决定采用离线编码和连续式块布局方案;在编组策略上允许从全局选取数据块进行跨文件编组,并尽最大努力降低一个分组关联的文件数,以平衡管理成本和存储开销。为了形式化描述数据块的管理过程,本文对数据块生命期进行抽象建模,通过构建状态机指导数据块管理;对于纠删码分组中的块分布问题,则是将其映射到二分匹配模型中,应用匈牙利算法检测分布可靠性并给出具有最小数据传输量的重分布方案。在这一管理模式下,只有那些需要长期存储的不可变块才会被编码;此外系统还将通过一种名为RRA的结构对被编码块的实时热度进行追踪,并动态调整其副本数以使上层应用能获得更好的数据本地化程度。系统原型在HDFS基础上开发实现,对原型系统的测试结果表明,该数据块管理模式能有效降低系统存储开销,同时提高热点数据的本地化程度。实验环境下,相对于三副本方式200%的存储开销,原型系统即使在有大量小文件的存储场景中仍能将开销控制在87.1%以内;动态副本策略效果同样明显,它将PageRank、TF-IDF作业的运行时间降低到仅采用纠删码时的67%左右。
其他文献
随着计算机技术和网络技术的发展,传统的二维平面和三维动画已经不能满足现代展示的需求,虚拟现实技术的出现极大地填补了这个缺陷。虚拟漫游是虚拟现实中一个很重要的虚拟技
如今,信息资源已发展成为一种非常重要的国家战略资源。伴随着信息产业的发展,信息系统的安全问题也越来越引起人们的重视。   可信计算是从计算机的硬件体系结构上入手,从根
随着信息技术的发展,以互联网为依托的计算机通信方式备受社会各界青睐,在大部分公司与集团内部,计算机的通信早已成为一种主流的通信方式,因此对计算机通信网络的研究也逐渐
随着全球化的加深,品牌在决定企业竞争力方面起着重要的作用,如何对品牌价值进行合理量化,以达到提高企业竞争力的目的值得思考。传统的品牌评估方法通过调查问卷或者统计品
  随着WWW的迅速发展和Internet的广泛应用, Web已成为用户获取信息的重要来源,XML数据规范已经成为目前Web上信息表示和交换的标准,因此大量的异构数据集成于XML文档之中
任务调度是云计算的关键技术之一。本文研究了云环境下的任务调度策略,目的是充分利用云环境的资源,降低用户任务的执行时间和运行成本,以提高云数据中心的运行效率。本文针对云
随着手机等移动通信设备的普及到现在物联网时代的来临,移动通信技术在过去十几年得到了快速的发展。通信技术不断地发展不仅促进了社会的进步,国民经济的发展,也很大程度地
近年来,随着互联网技术的飞快发展,人们已经从信息较为缺乏的时代过渡到信息丰富的数字化时代。面对如此庞大的电子信息,如何在较短的时间内获取对用户有用的信息也就成为当前的
人脸是日常生活中进行身份鉴别的首要依据,人脸图像分析技术在模式识别、计算机视觉等领域受到了广泛关注。然而随着年龄的增长,人脸外观产生了诸多显著的、不可避免的衰老变
近年来,计算机科学与技术迅猛发展,计算机图形学这一学科也取得了很大的成就。随着虚拟现实技术在商业娱乐、工业仿真等方面的广泛应用,海面的动态仿真逐渐成为广大计算机图