基于复本的机群文件系统数据高可用技术研究

来源 :中国科学院计算技术研究所 | 被引量 : 0次 | 上传用户:gmgan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,各种数据密集型应用得到了前所未有的快速发展。这些应用对存储系统的要求越来越高。为了满足这些应用的需求,许多存储系统采用先进的软硬件技术为上层应用提供高效率的存储管理和高性能的I/O服务。但是随着存储系统规模增大、存储磁盘数目增多,更多类型的故障频繁的发生,给存储系统的可靠性与可用性带来巨大的挑战。本文通过分析现有机群文件系统数据高可用方面相关研究,并结合DCFS3的实现,设计了一个高可用的多复本文件系统—HA-DCFS3;并在分布式文件系统高可用机制的I/O处理、故障检测、以及故障恢复方面进行了相关的研究。主要研究内容及结果如下:   ⑴设计并实现了一种高效的、扩展性良好的多复本I/O处理机制—异步primarycopy机制。传统的primary copy机制必须保证每次写操作成功更新到所有的文件复本。异步primary copy机制对传统的primary copy机制进行了优化,只要求每次写操作成功更新到部分文件复本。这种对写操作的优化有效地降低了用于维护复本一致性的代价,并且使系统具有更好的灵活性和扩展性。   ⑵提出并实现了一种细粒度故障探测机制—I/O路径探测机制。传统的探测机制以节点为粒度,本文提出了一种以连接为粒度的更细粒度探测机制—I/O路径探测机制。利用这种探测机制,可以准确地定位两个节点间的连接失效,有效减小故障视图。   ⑶设计并实现了一种两层次的恢复策略。这种策略区别系统中的瞬时失效和持久失效。对瞬时失效采取数据一致性恢复策略,对持久失效采取数据重建恢复策略。通过这种数据恢复方式,可以在数据恢复过程中减少不必要的修复带宽。   ⑷针对持久失效,设计并实现了一种快速并行修复策略。这种并行修复策略利用复本放置策略将单个节点上的复本尽量分散在所有存储节点中。当要对失效节点上的数据进行数据重建的时候,并行修复策略可以最大限度地利用并行修复I/O,有效地缩短修复时间,进而提高系统的可用性。
其他文献
频繁子图挖掘是指从图集获得频繁出现的子图模式,它挖掘得到的结果可用于对图集的分类和聚类研究,有助于用户了解图集的特征。目前的频繁子图挖掘算法大都是基于内存的,实际
在网络技术普及的今天,网络应用已经深入到人们的各种日常活动中,但是邮件蠕虫、特洛伊木马、拒绝服务攻击以及其他恶意行为仍然频繁的在终端用户机上发起攻击,危害企业网安
面向事件流应用的大规模数据密集型系统得到了越来越广泛的应用,本文在分析事件流应用特征的基础上,展开了查询优化的研究。大规模系统的查询优化,不仅要加速查询的执行过程,更需
现有的序列模式挖掘算法能有效地在大型数据库中挖掘出完整的序列模式集,然而在很多实际应用中,用户更希望找出感兴趣的、更简洁的模式,而不是所有的模式。本文主要研究了如
软件测试是保证软件质量的重要手段,为了确保软件产品能够符合用户的需求,必须着眼于整个软件生存期,在各个阶段进行验证、确认和测试活动。软件测试一般要经过单元测试、集
随着网络数字资源和应用的迅速增长,门户(Portal)作为一种集中、整合、访问异构、分布式数字资源和应用的方法,在数字图书馆、企业、电子政府、教育、科研等众多领域得到了广泛
随着深亚微米半导体技术的进步,集成电路特征尺寸不断缩小,芯片规模不断增大,集成在单颗芯片上的功能日趋复杂,ASIC芯片测试的难度和所需的时间、成本也同时增加。DFT设计与芯片
信息化智能化技术的普及给传统工业带来了巨大的影响,制造业的生产方式也发生了巨大的改变。制造业智能化技术包括设计智能化、关键工序智能化、供应链优化管理等部分。服装制
RSS是Web2.0应用中一项重要的技术,在资讯爆炸的时代,它实现了信息的主动推送从而改变了人们长期获得信息的方式。但随着可订阅资源和用户订阅频道数的增加,RSS聚合系统出现了严
未来几十年内,煤炭依然是我国的主要能源,以煤炭为主的能源结构将难以改变,因此煤炭企业的安全生产问题是目前及今后相当长一段时间内的一个重点问题。井下人员定位技术是煤矿中