基于HBASE的列存储压缩算法的研究与实现

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:bill119
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在过去的的几年里,伴随着云计算技术的蓬勃发展,基于列存储的数据库系统也逐渐兴起,许多机构正在尝试将传统的行数据库迁移到列存储数据库中去,以适应数据的海量增长。其中HBASE(Hadoop Database)列存储数据是目前业界关注度最高的开源产品之一,著名的社交网站Facebook公司把其每个月超过1350亿条信息保存在HBASE列存储数据库中。尽管现在业界对HBASE期望很高,但是它还是有一些缺点,例如:没有结合列数据按列存储的特点对数据进行高效的压缩,不支持直接操作压缩态数据等。因此,研究高效实用的压缩算法具有重要的实际意义。本文首先研究了在HBASE平台下的列存储数据库的需要用到的关键技术,然后深入的探讨HBASE平台文件的存储格式、文件的读写流程、数据的压缩方法等。在现有压缩系统的基础上针对列存储数据库按列存储、列属性值相似度高这一事实提出了在列存储数据库中引入一些轻量级的压缩算法,以列属性值为一个编码单元进行数据压缩,对某些数据不仅仅可以提高数据压缩率,还可以减少压缩解压时间。对于使用这些轻量级的压缩算法压缩的数据,本文还提出不需解压直接操作压缩态数据的方法,进一步的提高的系统的性能。同时针对不同数据适用不同压缩算法这一情况,提出了一种基于贝叶斯分类的压缩算法动态选择策略,通过贝叶斯公式计算后为不同的数据块选择不同的压缩算法,尽可能使待压缩数据达到最佳的压缩效果。实验证明,通过在HBASE系统中引入轻量级的压缩算法和加入基于贝叶斯分类的压缩算法选择策略之后,不仅系统的压缩率提高了,而且压缩解压的速度和查找数据的速度也加快了。
其他文献
基于最小二乘法原理,利用桥梁动态响应信号标定桥梁结构实际弯矩影响线,然后根据桥梁不同车道实际标定影响线计算过桥车辆轴重和总重。基于某刚构-连续箱梁桥的实桥试验,提出
[目的]比较循证护理结合以问题为基础的学习(PBL)与以授课为基础的学习(LBL)两种教学模式在消化内科带教中的应用。[方法]选择消化内科实习护生为研究对象,2015年实习护生设
国际投资领域的相关理论研究与实践操作中,一般将外资投资运作全程按两个阶段进行区分——外资准入阶段和外资运营阶段。而由于外资运营阶段对外资方的限制往往较少,或基本类
分散型控制系统(DCS)已经大量应用于火电厂大机组的新建和改造工程,分散型控制系统(DCS)代替常规仪表成为火力发电厂主要的监控手段,为防止出现重大的因为分散型控制系统(DCS)造成的
为探析大学生学业挫折感现状及其与抗挫折心理能力的关系,本文采用自编的"大学生抗挫折心理能力问卷""青年学生学业挫折感问卷"对全国8个省市的1556名本科生实施调查。结果显
5G是未来网络的基础设施架构,区块链是业务开展的新框架,区块链与5G技术紧密融合将促进智联世界的形成。作为引领数字经济创新的重要推动力,5G技术正以其高吞吐、低延迟、高
辉钼矿是化学成分为MoS2的硫化物矿物。它有不同的类型,分别属于六方和三方晶系,含钼59.94%,是提炼钼的最主要矿物原料。辉钼矿呈铅灰色,强金属光泽,具完全的底面解理,晶体呈
关于将高浓度溶液稀释成稀液的计算方法,文献中均有记载,但方法很多,在运用中实嫌繁杂前医务或药剂工作者的任务繁重,为了节省他们的时间起见,介绍一种简捷的配制方法,是有实
期刊
在对典例的解析,潜移默化的培养学生“勿以善小而不为”等优秀的为人处世之理三国刘备给其子刘禅的遗诏有文为:“勿以恶小而为之,勿以善小而不为。惟贤惟德,能服于人。”