基于纠删码技术的Raft集群分发策略的算法研究

来源 :天津理工大学 | 被引量 : 0次 | 上传用户:zgxkz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了在全球或本地分布式数据中心提供容错和数据一致性,分布式数据服务通常依赖于Paxos和Raft这样的共识协议使多个服务器节点达成共识。与传统的多副本复制协议相比,基于纠删码数据复制的一致性协议能够较好的节省存储和网络成本,有助于实现数据访问的低延迟、高容错性和高吞吐量。然而,在一致性协议中直接应用纠删编码会降低系统的活性级别。为了解决这个问题,当出现故障的服务器数量达到某个阈值时,CRaft存储的是完全副本复制,而不是纠删编码复制。然而,这增大了存储和网络成本。除此之外,纠删码的使用导致写集合增大在广域网中带来了更高的写延迟。如果能减少写操作仲裁集的节点数量,使用更低广域延迟的服务器进行数据的提交会给用户带来更好的体验。针对以上问题,本文中对CRaft协议从调整编码块分布和写集合的大小两个方面进行了改进。主要研究内容如下:(1)提出了一种自适应纠删码数据维护的一致性协议HRaft。CRaft中使用纠删码数据进行复制的使用条件是系统具有较多健康服务器。而通过分析了纠删码数据块重构的特点,发现存在服务器故障时可以使用更少的数据块的补充保证纠删码数据的恢复。因此如何根据系统服务器状态完成纠删码数据位置的调整成为关键挑战。本文根据系统当前各个服务器节点的状态,使用二次补充的方式进行必要的冗余数据的补充。关键思想是在保证纠删码数据恢复以维护数据的一致性条件下,使用第一轮数据分发的结果信息去调整编码块的放置。实验评估表明,五个服务器组成的集群中出现服务器故障时,HRaft具有比CRaft更好的性能,写延迟有所改进,领导者的网络带宽消耗降低了44.8%,吞吐量也比CRaft提高了118%。(2)提出了一种基于延迟分组的适应性Quorum。使用纠删码数据分发导致写集合的增大而需要等待更多的节点响应,在广域网中意味着更高的延迟。本文研究如何根据不同请求需要去调整数据的分发方案。CRaft根据健康服务器数量决定的分发方案,在广域网中的部署具有固定的写延迟,相比之下,利用领导者上一轮心跳的延迟选择合适的写集合,设计了一种分发策略。该策略能够使用广域延迟较低的服务器节点完成数据的放置,在保证延迟限制的同时节省存储和网络开销。
其他文献
随着无线体域网和可穿戴电子设备的快速发展,可穿戴电子设备在娱乐休闲、定位追踪、健康管理、运动监测、医疗辅助和军事领域得到了广泛应用。可穿戴天线传感器因其无线传输、尺寸小、低成本等优点而受到研究者的极大兴趣。在穿戴式天线中加入超材料结构可以隔离天线和人体的相互影响,不仅能减少天线对人体的辐射,还能增加天线的正向辐射,使天线的性能更加稳定。论文中的工作主要如下:(1)设计一款加载3×3的电磁带隙(EB
螺旋锥齿轮具有传动效率高、寿命长、噪音小等优点,主要应用于航空航天、航海、汽车等行业的关键零部件。当前我国向“中国智造”全面转型的重大战略对螺旋锥齿轮的加工精度提出了更高的要求,所以在传统磨削加工的基础上引入超声振动来加工螺旋锥齿轮。超声振动的引入,改变了磨粒的运动轨迹和螺旋锥齿轮齿面的成形机理,同时能够降低磨削力。而磨削力与砂轮耐用度、磨削表面粗糙度等均有直接关系,故作为磨削结果的评定参数,可评
本文是一篇以中美关系为主题的演讲的口译模拟实践报告。笔者选取了曾任中国人民解放军少将、国防大学战略研究所所长、战略学博士生导师金一南教授的演讲作为源语材料。其演讲主题为“中美战略博弈与关系走向”,其中固然不乏政治类词汇,但因金教授的个人演讲风格偏向于口语化、通俗化,这在一定程度上降低了笔者的口译难度,与之相对的,也带来了一些困难。在此次口译模拟实践中,笔者发现了自身在口译中遇到的困难和问题,并对其
学位
我国聋哑人群数量庞大,亟需接受各类教育的学生数量与日俱增。因此,语音识别虚拟人手语翻译,对提升聋哑人社会融入度,改善聋哑学生高等教育教学环境,提升聋哑学生人才培养质量具有重要的意义。本文对语音到手语的专项翻译进行了研究,提出了一种语音到手语编码的虚拟人手语翻译方法。针对目前语音手语翻译多分步操作易产生误差积累,手语输出易受文本分词效果影响的问题,本文提出了由语音到手语编码的一步式翻译方法。该方法在
随着经济的快速发展导致对能源的需求与日俱增。目前传统化石能源仍然是社会发展动力的主要能量来源,但化石能源是不可持续的,同时化石能源的使用也会给人类的生活环境造成不可忽视的损害。因此开发可再生、无污染的新能源迫在眉睫,而太阳能具有储量丰富,廉价易得的优点,是最有潜力的可开发的新能源之一。将太阳能用于光电化学(PEC)分解水以及有机物转化,不仅可以将太阳能转化为易于存储清洁的氢能,还可以将有机物比如生
按照微创、保膝的原则单髁置换术成为治疗膝骨性关节炎疾病的重要方案,但由于其术后过高的翻修率和较差的长期疗效,许多学者对其临床效果持怀疑态度,因此膝关节单髁置换前后的生物力学研究对单髁置换术水平提高具有重要价值。本文分别从仿真和实验两个角度对单髁置换前后膝关节的生物力学变化进行了分析研究。主要包括:基于(Adams/Life MOD)的动力学仿真,人体膝关节三维模型的建立与验证,人体膝关节单髁置换前
纳米组装体系的智能化设计与精准控制是微观材料学的研究热点,其中核酸(DNA)纳米材料备受当今医学界的关注,有可能成为继脂质体(lipsome)之后的一种新型药物载体。如何自动加载和释放药物是DNA纳米材料能否在医药界被广泛应用的关键问题。目前DNA纳米材料的设计和组装,如瓦片法(DNA Tile)和折纸法(DNA Origami),均以M13噬菌体的基因组M13mp18单链核酸为材料,通过折叠拼接
学位
学位