【摘 要】
:
在分布式存储领域,各行业根据各自业务特点,开发了很多适合自己领域的分布式文件系统,如HDFS、CEPH、Lustre、Haystack等。经过调研分析,我们发现它们基本都是面向大文件存储
论文部分内容阅读
在分布式存储领域,各行业根据各自业务特点,开发了很多适合自己领域的分布式文件系统,如HDFS、CEPH、Lustre、Haystack等。经过调研分析,我们发现它们基本都是面向大文件存储进行设计的,而一旦涉及大规模小文件操作,这些系统性能很差。针对以上情况,本文从小文件存储格式、缓存机制和容错机制出发,对小文件在分布式存储系统中的IO性能进行了优化。现有的文件系统对小文件存储支持不够好。针对这一不足,本文优化了小文件在数据服务器中的存储格式与机制,即使用大数据块来存储小文件数据,并采用索引文件来标识每个小文件在数据块中的存储位置。实验结果表明,本文优化后的小文件存储格式具备很好的IO性能。在传统文件系统中,文件数据与元数据采用一一对应的方式组织,每个文件单独对应一份元数据信息,当涉及到大规模小文件存储时,这种方式会产生大量元数据,访问性能会受到极大限制。经过优化后的小文件存储格式能够极大地降低元数据量,从而为缓存元数据提供了可能。本文在分布式文件系统中引入缓存机制,通过将索引文件存储到缓存中,以此来降低小文件访问延迟。除此之外,实现了元数据服务器集群的负载均衡机制。本文最后介绍了纠删码在小文件存储中的应用。根据第二章介绍的小文件存储格式可知,相对于数据块而言,扩展块占据了很小的空间。因此,在对小文件数据进行编码时,对扩展块采用多副本存储,数据修复的时候不再需要读取其它的文件来解码并恢复损坏的文件块,从而极大地降低了数据恢复时的网络开销和计算开销。
其他文献
群体模式是利用群体的智慧完成相关工作的一种新兴模式。随着近些年互联网的快速发展和普及,群体模式在很多社会创新领域被采用。研究者将群体模式引入软件工程领域并提出群
制定行之有效的教师激励机制是每所高校都应予以考虑的问题,是关系到大学教师能否实现育人功能的重要支撑。渤海大学作为一所地方高校,于2014年提出“转动课堂”教学模式,改
布鲁姆过滤器(Bloomfilter)是一种具有空间节俭、查询高效的数据结构。在无线传感网中,一种将信息加密传输的方式是,在传输的每一个节点中进行消息的加密和解密,频繁的加密和
测试是软件开发过程中的重要环节,是工业界常用的质量保障手段。为满足测试充分覆盖的要求,测试人员需要花费大量的时间和精力来设计测试用例。测试用例自动生成技术针对给定
随着经济水平的快速发展和人们消费水平的不断提升,地毯已经成为了许多家庭和企业的主要装饰品,其需求量也在与日俱增。手工地毯的制作前后需要经过十几道工序,其中枪刺植绒
特步中国大学足球啦啦队选拔赛由特步公司赞助,以五人制足球场地为竞赛平台,与大学生五人制足球比赛同时穿插进行,在音乐的伴奏下,运用花球、爵士、街舞等多种舞蹈动作,配合
如今,在网络通信技术的飞速发展的时代,多媒体通信成为互联网信息的主要传输方式。在多媒体信息中,与声音和文字信息相比,数字图像更加生动、形象,包含十分丰富的信息量。所
随着国家对3G及4G移动网络的升级改造,手机领域带来一场前所未有的技术革命,iOS,Android等智能手机操作系统的出现,近乎使传统手机遭受淘汰。智能手机的竞争也越来越激烈,大
由于智能手机的便携性,越来越多的人习惯于使用智能手机进行拍照。但是,使用智能手机进行拍照是非常耗能的。由于电池的发展没有赶上智能手机其他硬件的发展,因此能耗问题是
目前,GPGPU凭借其出色的并行计算能力,被广泛应用于科学计算和高性能计算领域。随着集成DRAM的带宽和GPGPU上计算单元的集成密度不断增加,GPGPU等众核协处理器对片上网络性能