分布式数据库Hbase快照的设计与实现

来源 :浙江大学 | 被引量 : 0次 | 上传用户:gfjgds
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机网络技术的迅速发展以及信息技术的深层次应用,计算机所存储的信息量呈爆炸式增长,云计算与分布式系统已经成为了大数据量处理的主要趋势。作为分布式系统的一种,分布式数据库为结构化的大数据提供了随机访问、实时读写的功能,相比于单机系统,它具有高性能、高可靠性、低成本以及易扩展的优点,因此在大型互联网公司中得到了广泛的应用。   而另一方面,作为系统某一时刻的完全状态,快照是系统在正常运行的情况下,在非常短的时间内创建的完整并且一致的系统镜像。快照不仅为系统提供了瞬时备份与快速恢复的能力,而且还可以应用于负载均衡、系统测试等多种场景。目前大多数文件系统以及数据库中都提供了快照功能,但是在分布式数据库中,快照并没有作为一种基本的功能予以实现。   在深入了解分布式数据库实现原理的基础上,本文首次在分布式数据库HBase上设计并实现了数据表的快照功能,主要分析并解决了快照过程中消息传递机制、快照执行速度、系统锁与同步机制以及异常处理等关键问题。通过利用底层文件系统以及日志系统的特性,不仅使得快照的创建能够在较短的时间内完成,而且将快照所占用的存储空间以及对系统的影响降到了最低。同时,本文也设计并实现了快照的恢复及导入导出等相关功能,通过对快照的恢复,可以将一个数据表快速恢复到快照创建的时刻;而通过快照的导入导出,则为提供了一种分布式数据库在不停机的状态下物理备份的手段,从而加快了分布式数据库备份的速度。在本文最后的测试结果与分析中也可以看出,HBase的快照能够快速的创建与恢复,基本达到了预期的功能。  
其他文献
由设计瑕疵引起的安全问题占据了系统开发过程中出现的安全性问题的50%,因此,无论在多么坚实的软件安全程序中,对于系统体系结构的风险分析都显得十分重要。安全性风险分析是
IaaS公有云服务将计算资源打包成虚拟机实例的形式供租户租赁,并按照“按用量收费”的方式进行计费。租户不但免去了购置基础设施的资金投入,还可以灵活便捷地根据任务负载对资
近年来,图论和复杂网络的相关研究受到了越来越多领域学者的广泛关注,包括物理、化学、计算机科学、数学、生物学、经济学等,而相关研究也逐渐从单学科向多学科交叉转变。与
在生物信息学领域,对生物数据进行分析是极其重要的一个过程。随着数据量的增大,对生物数据分析的耗时越来越长,严重制约了相关理论设想的验证。CPU-GPU协同计算,能够以较小的代
协作通信是下一代移动通信系统对抗信道衰落的重要技术,编码协作是将信道编码应用到协作通信当中,加强了协作通信系统对抗衰落的能力,近几年已经得到广泛关注,并且得到了深入
近几年,网络技术得到了快速发展,新型的无线Mesh网络应运而生,它具有快速部署、健壮性强、结构灵活,高带宽等特点,为人们提供了不受空间限制的Internet接入方式。随着用户总
随着信息化,网络化,智能化的发展,嵌入式技术获得广阔的发展空间。Linux凭借其内核微小、可裁剪性、免费开源、可靠安全和多平台性迅速成为主流嵌入式开发平台。嵌入式设备种类
血压作为人体的一个重要的生理参数,反映了人体心脏和血管的功能状况,对于诊断疾病、观察治疗效果等方面都具有十分重要的指导意义。连续血压测量方法能够对人体每个心动周期的
随着信息化社会的到来,传统身份识别方式因其固有的缺点,已不能满足现今社会的需要,利用人体所固有的生物特征进行自动身份识别的生物特征识别技术逐渐被用户所接受。在所有的生
无线射频识别技术(Radio Frequency Identification,简称RFID技术)是一种非接触的自动识别技术,经过几十年的发展,RFID具有精度高,抗干扰能力强等特点,现如今,已广泛应用农产品溯源、