可扩展元数据集群一致性技术研究

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:dukewyh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社会化网络和高性能计算的高速发展,海量存储的需求日益增长。提供海量存储服务的大规模机群文件系统正在得到产业界和学术界越来越多的重视。在网络带宽和CPU性能迅速提升的背景下,I/O已经性能成为制约互联网服务和高性能计算机群系统性能的瓶颈。机群文件系统作为提供I/O服务的关键技术,采用多元数据通路和多数据通路的体系结构已经成为了一种趋势。在多元数据服务器架构下,分布式元数据操作的一致性问题是影响机群文件系统可靠性和可用性的关键问题。   本文在分析了国内外文件系统一致性维护方法和分布式数据库事务一致性维护方法的基础上,针对分布式元数据操作,从减少维护分布式元数据操作一致性的网络交互开销和磁盘同步开销两个方面提出了一种原子提交协议和相应的故障恢复机制。本文取得的成果如下:   提出了一种高效的分布式元数据操作一致性协议―异步两阶段提交协议:因为文件系统操作具有和数据库系统中事务操作类似的ACID特性,因此可以借鉴数据库当中维护分布式事务一致性的原子提交协议来保证分布式元数据操作的一致性。我们提出的异步两阶段提交协议,使得分布式元数据操作不用阻塞等待参与者和协调者的“COMMIT”记录同步提交到磁盘,只需要在确定协调者和参与者的子操作都执行成功之后,即可响应应用程序和执行后续的操作,降低了分布式元数据操作的延迟。在分布式元数据操作的开销比较小的情况下,方便制定更为灵活的元数据分布策略。   提出了一种有效的故障恢复机制:在异步提交分布式元数据操作“COMMIT”记录的情况下,为了保证在有元数据服务器失效时,机群文件系统依然能够快速恢复到一个一致的状态,我们提出了一种在对方日志中记录重做日志并且结合协调者和参与者相互确认才能形成检查点的方法,使得协调者或参与者在宕机重启之后,系统能够恢复到一致的状态。   针对元数据服务器集群系统设计了分布式元数据操作的一致性维护方法的具体实现:在采用子卷架构的元数据服务器集群系统上,设计和实现了提出的分布式元数据一致性维护方法的基本原型。通过模拟测试表明,采用异步两阶段提交协议对分布式元数据操作带来的性能损失比较小。相对于采用简化的两阶段提交协议,分布式更新操作的响应时间可以降低50%以上。
其他文献
伴随着集成电路制作技术按照摩尔定律发展,现代现场可编程门阵列(FPGA)正在变得越来越复杂,传统的寄存器传输级(RTL)设计技术越来越不适应大容量FPGA开发的需要。由于基于Sys
网络容灾与网络可生存性是网络安全的基本问题,也是下一代网络不可回避的关键问题。网络上最重要最宝贵的资源是数据和信息,其次才是硬件设备及其驱动软件。因此网络上承载的数
随着控制、计算机、通信和网络技术的不断发展,开放式体系结构、网络化、高可靠性、复合化、多轴联动化成为数控系统的发展趋势。Ether CAT以其开放性好、拓扑结构灵活、可靠
模式识别是人工智能学科中一个重要的研究领域,运用数据挖掘方法解决研究对象的模式识别问题,称为模式挖掘。中医在冠心病诊断和治疗方面有着完善的理论基础和成熟的方法体系
行人检测在智能交通、视频监控、多媒体检索等领域具有重要的应用价值。行人检测的相关方法与关键技术已经成为计算机视觉领域研究热点。然而,行人的多姿态、多尺度、局部遮挡
在IEEE802.11无线局域网中,各AP负载经常处于不均衡状态,这将导致宝贵的无线资源不能得到充分利用、网络吞吐量降低等弊端。目前IEEE802.11标准没有对负载均衡问题进行规定和
粒子计算越来越深入的应用于化工、材料、生物等重大挑战性领域。随着粒子计算规模的增大,海量粒子数据的处理和存储遇到越来越大的挑战,如粒子数据读写的查找开销大、小磁盘
本文主要研究了自适应锁相环的模型和设计。   微处理器的工作频率不断提高,时钟周期变短,对于时钟偏差和抖动的要求也更严格。现代半导体工艺的进步,伴随着电源电压降低,
协同机制和信息融合是无线传感器网络中的关键技术,本文以基于无线传感器网络的道路交通信息采集为应用背景,将实时准确实现交通流量监测转化为高精度细粒度的车型识别问题,
随着集成电路设计规模的增长和制造工艺的不断进步,高性能处理器芯片在测试和验证等方面面临着日益严峻的挑战。可测试性设计(Design for Testability,DFT)用于提高测试覆盖