论文部分内容阅读
在大数据时代,云存储是数据挖掘、分析和研究的基础,成为研究的热点问题。分布式文件系统作为云存储中的重要核心,有了新的研究价值。本文综合分析了国内外关于分布式文件系统的研究现状,以增加系统的可靠性与吞吐量为目标,提出了一种基于动态多中心的分布式文件系统架构模型,并针对其中涉及到的关键技术进行了深入研究。首先,针对集中式元数据服务模型存在的单节点失效与单节点瓶颈问题,设计了一种基于动态多中心的分布式文件系统的架构模型。该模型通过采用全对等式的元数据服务模型来提高系统的可靠性与吞吐量。采用N重Hash与分层思想相结合的方法来组织元数据在内存中的存储结构,使用日志策略对元数据进行持久化,并提出了一种基于三重循环链式的故障切换方案。其次,对新模型中的元数据服务器之间的负载均衡问题进行了分析与研究,针对新模型中负载任务的特点,提出了一种带“参谋”的动态自适应负载平衡策略。该策略将负载均衡器与客户端解耦合,收集不同的负载信息指标,并赋予不同权值来处理负载信息,通过自适应的阈值来判定系统的负载状态。最后,对新模型中多节点之间的数据同步问题进行了分析与研究,针对经典的Paxos算法存在的“活锁”问题,提出了一种带Leader选举的Paxos算法;为解决系统中存在的“不一致性窗口时间”的问题,在Paxos算法的基础上提出了一种数据同步方案,该方案采用周期性同步与随机性同步相结合的策略,并设计实现了一个数据一致性原型系统。