分布式文件系统中日志技术优化

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:eriwu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来云计算技术的发展,对网络存储系统的容量、性能和可用性提出更高的要求。分布式文件系统作为网络存储系统的核心软件,对外提供文件的保存、获取、组织、共享以及保护工作。元数据服务器对于分布式文件系统的整体服务十分关键,其性能和可靠性直接关系到整个系统的性能和可用性。在Parastor FS系统中已经实现基本的元数据高可用机制,在保证系统现有可用性的基础上,提高系统的性能十分必要。在分布式文件系统中,元数据的一致性和可靠性对系统的可用性非常关键。通过将日志技术应用到文件系统中,保证了元数据的一致性。本文通过研究分布式文件系统Parastor FS中日志技术和副本技术的实现,针对以上两个问题进行优化,主要研究内容包括:   (1)提出基于元数据文件的日志数据组织方法。日志技术通过在修改元数据前,将元数据修改记录到日志设备保证元数据一致性,在系统故障后,通过重新应用日志数据将元数据恢复到一致状态。一次元数据修改请求涉及对多个元数据文件的多处修改,多个元数据修改请求记录的目志数据中存在不同类型的冗余数据。对于记录到日志设备的事务,聚合事务中的冗余数据,可以降低对日志设备空间的使用。日志数据聚合的关键问题:日志数据的组织,即聚合后事务的原子性;聚合前后日志数据的对应关系,在故障副本恢复时,需要基于在服务副本的对应日志数据将元数据恢复到一致状态。   (2)提出多事务流水同步机制。副本技术通过在多个存储节点保存数据的多个副本解决了元数据服务器单点故障使得元数据不可用的问题。但是副本技术需要在多个副本节点上修改元数据,副本问的数据传输性能对元数据服务器处理元数据请求的能力起着重要作用。在Parastor FS系统中,元数据服务器基于日志数据维护元数据的多副本,现有的副本实现,副本间有序传输日志数据,限制了元数据服务器的性能。通过将副本之间数据同步和日志数据保序分别处理,提高副本间日志数据同步的并发度。   经过测试表明,通过本文的优化,元数据服务器在保证现有可用性机制的同时,通过日志数据聚合,减少了日志数据中的冗余数据,在聚合粒度为4MB时,记录的日志数据量降低为原来的1/5;通过分离副本之间数据同步功能,提高副本之间数据同步的并发度,进而提高元数据服务器的性能,在客户端压力比较大的情景中,元数据服务性能提升约11%。
其他文献
学位
数据思维的产生源自于大数据、互联网、移动互联网时代人们对数据重要性和数据所有权问题的深刻认识。随着信息技术和软件产业的不断发展,互联网已成为社会发展的基础构件,人
无线网络通过多样的无线网络架构和动态频谱获取技术,给用户带来更多的便利。然而,由于复杂多变的电磁环境以及人们对无线应用的多样化需求,无线网络对开发人员提出了多种挑战。
本文主要研究基于生物网络的关联发现技术,司用于解决在以“老药新用”为指导思想的药物研发过程中“如何确定目标疾病的候选药物”这一关键问题。该问题即等同于对候选药物
背景:近年来,软件工程的研究进展极大的丰富了该领域数据资源和知识储备。研究人员越来越需要在充分利用已有的研究结果基础之上开展新的研究。系统化调研(Systematicliteratu
由于生态旅游过度开发,国内河岸流域景观退化现象愈发严重,而林业可视化技术可为生态系统恢复和景观优化的决策提供重要参考,因此,进行河岸流域植被演替的可视化模拟研究具有
随着应用领域逐渐扩大,无线传感器网络由于通信媒介开放、部署环境恶劣等原因暴露出大量安全问题,给无线传感器网络的应用带来了极大的信息安全隐患,制约了无线传感器网络在
随着我国高速铁路建设的不断发展,高速列车成为旅客远距离出行的重要交通工具,与此同时,旅客对在高速列车上进行高质量的通信和数字娱乐服务的需求日益迫切,发展高速铁路宽带通信
在当前主流视频编码标准所采用的混合编码框架下,视频数据中的统计冗余能被大幅降低,但是视频数据中的视觉冗余却难以被消除。如何消除视频数据中的视觉冗余已成为视频编码领
软件测试的质量不仅依赖于测试用例的类型和数量,测试判据作为一种验证测试用例是否被正确执行的机制,对于测试用例的错误检测有效性也有重要的影响。图形用户界面(GUI)被广泛