Key-Value Store读写性能研究与优化

来源 :中国矿业大学 | 被引量 : 0次 | 上传用户:zybp821
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
存储引擎是存储系统的核心,存储系统的读写性能取决于存储引擎的性能。本文的研究以当前Key-Value Store的两大主流存储引擎LSM-Tree存储引擎和哈希存储引擎为主,详细分析了传统LSM-Tree结构以及哈希存储结构代表性系统的读写特性。LSM-Tree的特点是顺序写入而哈希存储引擎则侧重内存索引的效率。经过对比分析之后,借鉴两大存储引擎在索引和硬盘存储上的思想特点,本文以LevelDB的结构为原型,提出sLSM-Tree结构(Segmented-Index based LSMTree,基于分段式索引的LSM-Tree结构)。1)在该存储结构的内存索引部分引入分段式索引结构解决为LSM-Tree加入哈希存储内存索引结构所带来的冲突,即通过分段式引入前缀树索引和哈希映射索引的方式提高索引速度,在避免数据读取时逐层索引的同时,降低了因写入时压缩合并操作带来的物理地址变更频繁造成的性能压力。2)在内存中为了进一步提高对Key的查询效率,本文在传统布鲁姆过滤器算法的基础上结合内存索引结构,提出了动态阵列式布鲁姆过滤器的优化,即通过动态设置布鲁姆过滤器阵列的分组因子降低整个阵列的读写时间。持久化结构依然采用Append-Only的日志结构以维持LSM-Tree原有的高速顺序写的优势。基于Flash的固态硬盘(Solid State Drive,SSD)能够提供很高的读写性能。但是,传统LSM-Tree的压缩合并操作是针对机械硬盘的,本文针对SSD的结构和特性对SSD的压缩合并操作进行了相应的优化。针对本文提出的分段式索引新方法和动态阵列式布鲁姆过滤器优化分别进行了对比实验,从实验结果分析,与采用传统LSM-Tree存储引擎的Level DB相比,s LSM-Tree提高了内存索引和硬盘读写性能。最后,通过对实验数据进一步的整理和分析,讨论了sLSM-Tree进一步提升的空间。
其他文献
在高性能计算领域,基于可重构技术的CPU-FPGA异构体系显示了较好的加速效果。因此,将计算密集的C代码转换为面向FPGA的VHDL程序的可重构编译技术正逐步成为一个重要趋势。C语
电容层析成像技术(Electrical Capacitance Tomography,ECT)在不破坏以及不干扰被测物场的基础上,通过电容测量值重建出管道或容器内部相异介电常数的空间分布状况。它具有低
近些年来,随着移动通信网络、固定网络以及因特网的发展,网络的主要应用基于网际协议(Internet Protocol,IP)化的趋势更加明显,从而使路由设备的地位和作用越发重要。而早期
随着经济全球化以及互联网技术的普及,协同项目生产模式得到了迅猛的发展。然而协同项目计划的管理和制定是个比较复杂的问题,与传统的单企业模式相比,协同项目计划的管理不
全分散式铁路联锁系统强调设备在物理位置的分散,设备之间通过网络互联,联锁程序被包含在各个设备中,系统在进行进路办理时需要实时正确的了解各设备状态。因此,列车在全分散式铁
流控制传输协议SCTP(Stream Control Transmission Protocol)是2000年产生的一种新型传送层协议,由于其具有多种创新的特性,现在已经成为一种通用的传送层协议,成为网络的研
数据挖掘是一门用于挖掘数据背后所隐藏的知识的新兴技术,在各行业都有广泛的应用。在这里将其于电力系统相结合,进行短期负荷预测,其结果对电力规划和调度将有很大的实际意义。负荷预测是电力规划的基础,准确的负荷预测值能够大大提高电网供应的稳定性和安全性,减少资源浪费,降低发电成本,并能为电力系统提供辅助意见。本文详细研究了数据挖掘的理论和影响负荷预测的主要因素,考虑到传统的神经网络预测方法存在对初始网络权
计算机技术迅猛发展,给人们的生活带了便捷。同时,计算机安全问题也越来越突出。计算机安全的传统解决方法是在操作系统平台上安装安全软件,来防御计算机终端可能出现的安全
科学计算可视化利用计算机图形图像方面的理论技术,将科学计算及工程测量的数据用图形的形式表现出来,主要包括面绘制算法和直接体绘制算法。体绘制算法能够产生三维数据体的
近年来,随着Internet技术的迅猛发展和业务的不断扩大和改变,以数据库为中心的Web技术得到越来越广泛的应用。然而,早先开发的应用系统由于时间较长,并且缺乏相关的描述文档