分布式数据库中的副本恢复优化

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:iou820915
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社会的不停发展,不断地产生大量的数据。数据是一种极为有用的资源,为了利用数据中的能量,需要设计好的数据库系统来存储大量的数据。同时为了系统的高可用性,常常使用分布式数据库系统,这样能够可靠地进行负载均衡。而网络的不稳定,系统的故障是不可避免的,为了防止数据的丢失,设计可靠、高效率的数据恢复算法是非常必要的。在分布式数据库系统中,为了使各个副本节点能够达成一致性,常常使用分布式一致性算法来进行数据同步。本文通过使用Paxos算法在各个副本节点之间进行日志复制的操作,而由于Paxos算法在日志同步的时候是允许副本节点存在空洞日志的。在节点因为故障而导致的副本恢复的过程中,可以通过本地日志以及和其它副本节点的交互来达到一致性恢复。本文的主要贡献如下:1、分布式数据库系统之中,在出现高冲突日志项的场景下,本文设计优化了Redo日志项结构、日志文件结构。在日志复制的过程中,通过设计的缓存队列和优化过后的Redo日志项,在当前日志项中记录满足冲突条件的一部分日志项索引。当节点进入数据恢复状态的时候,便可以利用这些日志文件来避免对一部分空洞日志的补全操作。2、基于日志筛选的思想,研究在多副本环境中如何达成数据的一致性恢复。利用日志回放技术,设计基于Paxos的备节点恢复算法和主节点恢复算法。在日志回放的过程中,通过重新设计后的日志项来避免对冗余日志项的重放步骤,减少与其它副本节点的网络交互,因而减少了故障副本节点的数据恢复时间。3、研究基于数据访问频度的副本并发恢复技术,由于影响数据恢复的主要限制在于系统的I/O次数。在副本宕机恢复的过程中,大部分消耗的时间集中在日志页的读取,数据页的读取,以及数据页的落盘。通过设计基于数据访问频度的恢复方法,在Redo日志文件重放的过程中,避免Redo日志项对应的数据页的重复读取和落盘,减少了磁盘的输入与输出次数,因此提高了数据恢复效率。同时设计并发的恢复策略,来加快数据的恢复。最终,本文设计并且实现了一个多副本原型系统Paxos-replication,并且实现了以上的优化方案,进行了相关实验验证了恢复方法的有效性。当分布式数据库的某个副本仅仅基于本地日志进行恢复的时候,在磁盘数据库原型系统DB_SELT中实现了优化方案,并且进行了实验来验证。
其他文献
随着分布式电源、电动汽车等非线性波动负荷的大量接入,配电网的电能质量问题越来越严重,其中三相不平衡情况尤为突出,严重影响负荷的正常运行和设备安全。面对配电网中不断
量子非局域性作为量子信息论中重要的一个性质,在量子编码、量子计算机等方面都有着重要的应用,是量子力学最显著的特性之一。熵作为量子信息理论的一个重要概念,可以作为系统纠缠度(纯度)的度量。本文主要研究了腔-人造原子(transmon)耦合系统的量子非局域性和线性熵,并取得了一定的结果。研究表明,系统的非局域性具有周期性,线性熵也发生周期性的涨落;当我们考虑腔场损耗时,量子非局域性会被破坏,线性熵的值
粒子探测器的发展极大地促进了人们对微观世界的了解。RD51项目合作组研发的SRS系统是一种可扩展的探测器读出系统,可以适用于不同的前端读出芯片。VMMASIC是在ATLAS实验中开发出的一款前端读出芯片,具有读出速率高、灵活性强等特点。为了适应更加复杂更高能量的粒子事件,RD51决定用VMM芯片升级SRS的前端电子学。由于前端读出的速率大幅提升,而现有的SRSFEC固件在数据处理上有诸多不足,无法
目的:基于银杏内酯的抑制炎症反应的作用,进一步研究银杏内酯对于吉兰-巴雷综合征周围神经的作用及机制,以求探索银杏内酯对于免疫介导的周围神经病的作用及机制,为吉兰-巴雷
目的:目前推荐根除幽门螺杆菌(Helicobacter pylori,H.pylori)治疗方案为多种药物短时间、大剂量联合应用,其中抗生素、质子泵抑制剂(proton pump inhibitor,PPI)均可诱发肝
转录因子(Transcription Factors,TFs)是重要的反式作用因子,与生命活动的调控息息相关,在植物的次生代谢产物合成过程中亦是如此。植物TFs中以MYB家族最常见,研究最深入,其
在地震勘探领域,反褶积和波阻抗反演是提高地震资料垂向分辨率以及预测储层的重要手段。反褶积的目的是压缩子波,尽可能使地震道接近反射系数序列。波阻抗反演将叠加剖面转换
钢悬链线立管(steel catenary riser,SCR)出现于20世纪80年代,由于钢悬链线立管成本低,能适应高温高压的海洋环境,使它成为海洋管道工程的重点研究对象。清管器(pig)是管道维
随着国内国际节能环保意识的增强,亟需更高效率的DC/DC变换器。LLC谐振变换器功率密度大、电磁干扰小、工作效率高,广泛应用于车载OBC、大功率充电桩、新能源发电等领域。在
油茶是我国重要的木本油料植物,随着国家对油茶产业的发展重视,将大幅提高茶油在现有食用油供给中的比例。由于国家和地方政府对油茶产业的重视,全国油茶面积也正在继续逐步