论文部分内容阅读
随着互联网业务的快速发展,目前越来越多的数据被上传到互联网上,而对与这些数据的处理传统数据库遇到大量频繁的请求时可能会出现系统瓶颈和处理能力下降的情况,因此数据库的可扩展性和可靠性显得更加的重要,这时云计算数据库平台则可以提供非常好可扩展性和可靠性需求。因此本文的目标在于为快速增长的互联网数据提供一种具有高可扩展性、提供高效查询的数据管理方式。文中首先介绍了当前主流的基于云计算的数据库系统架构,分析这这些系统架构的特点。之后在Hbase的Master-Region体系架构的基础上,针对互联网应用的快速查询、查询模式复杂多变的特性给出了一种以Key/Value按列存储结构为基础的数据文件索引结构,并在这个索引结构的基础上对系统进行了设计与实现。系统的主要包括Master、Region、Client三个部分,文中详细介绍了这三个部分的设计与实现。系统采用了2PC(二阶段提交协议)作为副本间的一致性控制算法;并采用了基于时间戳的并发控制算法来解决多个事务之间的并发操作的问题;对于节点之间的数据分配采用了负载均衡的策略;对于系统的数据灾难发生后的数据恢复采用WAL的方式来解决;同时对于数据文件的读取采用了缓存的方式来提高读取效率;对于数据文件的压缩采用了LZO算法。最终通过实验结果表明本文的数据库系统能够有效的实现数据的快速查询与数据加载。