一种基于云平台的数据库的设计与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:chaoyuemengxiang2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网业务的快速发展,目前越来越多的数据被上传到互联网上,而对与这些数据的处理传统数据库遇到大量频繁的请求时可能会出现系统瓶颈和处理能力下降的情况,因此数据库的可扩展性和可靠性显得更加的重要,这时云计算数据库平台则可以提供非常好可扩展性和可靠性需求。因此本文的目标在于为快速增长的互联网数据提供一种具有高可扩展性、提供高效查询的数据管理方式。文中首先介绍了当前主流的基于云计算的数据库系统架构,分析这这些系统架构的特点。之后在Hbase的Master-Region体系架构的基础上,针对互联网应用的快速查询、查询模式复杂多变的特性给出了一种以Key/Value按列存储结构为基础的数据文件索引结构,并在这个索引结构的基础上对系统进行了设计与实现。系统的主要包括Master、Region、Client三个部分,文中详细介绍了这三个部分的设计与实现。系统采用了2PC(二阶段提交协议)作为副本间的一致性控制算法;并采用了基于时间戳的并发控制算法来解决多个事务之间的并发操作的问题;对于节点之间的数据分配采用了负载均衡的策略;对于系统的数据灾难发生后的数据恢复采用WAL的方式来解决;同时对于数据文件的读取采用了缓存的方式来提高读取效率;对于数据文件的压缩采用了LZO算法。最终通过实验结果表明本文的数据库系统能够有效的实现数据的快速查询与数据加载。
其他文献
学位
随着半导体技术的发展和消费类电子产品复杂度的不断增长,基于平台的设计(Platform-Based Design)方法逐渐成为片上系统(System-on-Chip,SoC)设计主流,且SoC运行的软件系统日
森林火灾会给人类带来很多重大的灾害,而林火行为受到多种因素的制约,研究制约林火蔓延的规律,并借助计算机的帮助模拟林火从发生到发展的蔓延状态具有非常现实的意义。本文
随着信息化技术的发展,工作流技术已经被越来越广泛的应用到企业的信息化系统中,人们对于工作流技术的需求也越来越多样。工作流引擎在执行流程实例的过程中会调用执行一些系统
基于图像的增强现实技术有着广泛的应用领域,如拍摄视频轨迹跟踪、虚实图像融合、基于图像的三维建模等技术广泛应用于教育、影视、娱乐等行业。这些技术通过从图像中提取有效
世界移动通信技术的飞速发展,将在经济发展和社会进步中发挥更重要的作用,也将会给人们的生活带来越来越大的影响力。随着第三代移动通信(3rd Generation Mobile Communicati
随着互联网技术的广泛应用,电信、交通、金融等各传统行及新兴的互联网行业出现了数据的爆炸性增长,大规模数据处理技术首先在互联网行业诞生并迅速应用于各种大规模数据处理场
近年来,随着智能手机的风靡和网络带宽的不断提高,互联网数据业务得到高速发展,用户数据业务访问量和网络内的数据流量均呈爆炸式增长,导致骨干网的带宽压力逐年增大。虽然网络带
植物生长建模与可视化技术一直是近年来计算机与生物、农业学科交叉领域的热点研究领域。该技术大大提升了生物和农业科学的研究深度和生产效率,并可进一步应用于游戏、动漫、
IT信息技术产业飞速发展,IT资产系统日益庞大,伴随的是日益繁杂的信息交互与业务处理。各大运营商除了需要急切提升IT应用系统的技术更新需求外,更需要一套高质量高效率的对应用