分布式文件系统多级容错机制的研究与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:qinpeizhen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文件系统是任何一个操作系统的关键部分之一。它负责对系统中的各种资源进行管理,并提供程序存储和数据存储能力。分布式文件系统DFS(Distributed File System)不但具有传统文件系统的服务能力,而且具有资源共享、高可靠性、高可用性、高吞吐量、高存储容量等优点。目前,DFS 已经得到了越来越多的研究者的关注,并日益成为分布式系统研究中的热点。DPFS(Distributed and Parallel File System)是电子科技大学8010 研究室自主开发的分布式并行文件系统。它与分布式调度、分布式数据库等一起构成了分布式并行系统平台DPLinux。作为DPLinux 的重要组成部分,它提供了面向服务器的分布式资源管理能力。在DPFS 中存在多个服务器节点,每个节点逻辑上是完全对等的,没有主从的区别。DPFS 提供完整的功能接口,并隐藏了内部的技术实现细节,在使用上与普通的文件系统完全一致。它基于Linux 内核设计开发,不仅具有Linux 服务器的兼容性和处理能力,而且具有很多DFS 的优点。容错机制是DPFS 中不可缺少的重要组成部分。当DPFS 中的节点出现故障时,容错机制负责对故障进行检测,并最终将故障节点恢复到与其他正常节点一致的状态。因此,容错机制是DPFS 稳定性和可靠性的基础和保证。本文在深入研究的基础上,阐述了DPFS 的总体设计思想,重点讨论了DPFS容错部分的设计与实现。在分析了传统的分布式容错机制的不足后,本文提出一种复合型的多级容错机制。该机制主要包括操作集自检测与恢复、实时远程容错和日志容错三个部分。操作集自检测用于检测节点故障并保存错误信息;操作集自恢复提供了对故障进行本地及时容错的能力;实时远程容错采用通信方式对远程节点故障进行及时容错;日志容错机制通过日志记录和日志恢复机制负责解决持久性故障问题。DPFS 容错部件在功能上形成了并行的三个容错级别;在执行逻辑上优先运行效率高、开销小的容错部件;在设计上采用了同步容错设计、远程恢复模型、日志空间索引、基于Agent 的日志动态恢复协议等策略。既保证了对系统故障的高容错能力,又考虑了整体性能的优化。
其他文献
本文论述了XML及其相关技术的发展历程、技术要点及行业应用。由于信息表示的独立性,XML可用于数据交换;由于其层次结构特性,XML更多的用于表示复杂的数据结构和文档,因此在各行
本文研究了P2P系统中信息检索的几个关键技术。首先从在P2P环境下进行信息检索的价值出发,阐明了在P2P系统中建立节点之间关系的重要性。然后,详细地讨论了所要解决的三个关键
在RBAC中,在用户(user)和访问权限(permission)之间引入角色(role)的概念,用户与特定的一个或多个角色相联系,角色与一个或多个访问许可权相联系,角色可以根据实际的工作需要生成
作为从Web信息资源中发现潜在的有价值知识的一种有效技术,基于Web的数据挖掘正倍受关注,Web文本挖掘是Web数据挖掘的一个研究热点。目前基于文本挖掘提出了很多算法,而简单
近年来,随着互联网流媒体技术的发展,兴起了视频点播、IPTV、P2P语音通讯等P2P流媒体应用。P2P流媒体应用一般具有覆盖网络广、资源数据量大、用户节点多和可扩展性强等特点,
IP组播技术是随着因特网业务的发展而产生、发展起来的,一直在局域网和有线广域网中使用。是基于UDP的并以“尽力而为”的方式将数据包发送至网络指定节点,不具可靠性。卫星通
多媒体技术和Internet技术的普及导致了大量图像信息的出现,传统的文本关键词检索方法已经不能适应图像信息的检索需求,基于内容的图像检索技术成为目前研究的热点。基于内容
数据挖掘技术源于商业的直接需求,因此它在各种商业领域都存在广泛的使用价值。通过在海量的股市历史数据中进行数据挖掘,得到较高兴趣度的数据,然后进行分析,并使用其它数学
随着电信网络规模的扩大和电信业务的增多,提供话费清单以及话费查询等项工作已成为电信运营商服务工作的重点和难点。同时,随着市场竞争的加剧,电信运营商需要更加灵活的经
空间分析数据库系统 SADBS 使用 Realms 作为空间数据的表示基础,它利用离散化的坐标系统,解决了空间数据库的拓扑误差问题;使用多索引的数据组织方法,有效的存储和管理空间