一种混合存储结构的键值系统性能优化技术的研究与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:Lavenderws
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
以键值存储系统为代表的非关系型数据库具有高性能、高扩展性与更灵活数据存储的特点,能满足大数据环境下的海量数据存储需求。日志结构合并树(Log Structured Merged-Tree,LSM-Tree)作为键值存储系统主流存储引擎之一,为系统提供优良的写入性能。然而LSM-Tree结构在合并数据时会带来较高的写放大,这严重限制键值存储系统写入性能的进一步提升。NVM(Non-Volatile Memory,非易失存储介质)是一种读写性能接近DRAM且具有非易失性的新型存储介质。因此,研究基于NVM与SSD混合存储结构的键值存储系统具有重要的实际应用意义。针对LSM-Tree结构键值存储系统的写放大问题,提出NVM与SSD混合存储的RangeKV(Range Key-Value)键值存储系统性能优化技术。在NVM上使用多个RangeTab结构来组织LSM-Tree的第0层键值数据,采用追加写数据的方式,提升数据写入RangeTab的效率;同时RangeTab结构增大第0层的容量,能够缩短LSM-Tree结构层数,减少系统的合并次数。为了提升RangeTab数据的查找性能,为键值数据构建哈希索引,可以快速定位其物理地址以及减少访问NVM的次数。此外,合并时采用双缓存结构,能够降低系统写入阻塞的时延,为了减少合并写放大,优先选取写放大比例最低的RangeTab数据参与合并,以提升合并效率,进一步提升系统写性能。基于开源RocksDB平台,本文实现了RangeKV系统,并对RangeKV与RocksDB以及NoveLSM方案进行了对比测试与性能评估。测试结果表明,RangeKV随机写性能是RocksDB的4.5~5.7倍,合并次数比RocksDB的减少了超过50%,平均合并数据量降低了40%左右,系统的写放大比例只有RocksDB的25%左右。另外,RangeKV方案与NoveLSM方案相比,也依然有较明显的性能优势。
其他文献
阐述了动物福利壁垒的产生及其发展趋势,分析了动物福利壁垒对我国畜禽产品出口的影响。动物福利壁垒一方面抬高了国际贸易的市场准入门槛,削弱了我国产品的出口竞争力,影响
自认罪认罚从宽制度试点以来,对于如何完善认罪认罚从宽制度,学界和实务界均进行了大量的探索。从既有文献来看,对何为认罪认罚从宽仍然存在较大分歧,缺乏理论上的共识,必定
案例一:“六一”儿童节到了,幼儿园以班级为单位开展家庭联欢会。小朋友们轮流和自己的爸爸妈妈一起做游戏。然而,琪琪并没有被同伴们的演出所吸引,却对旁边会唱歌的玩具娃娃产生
作为当前在中学阶段的学科教学过程中应用最广泛的课程资源---教学辅助用书,统称教辅。其分布包括了语文、数学、英语、物理、化学、生物、政治、历史、地理等各个科目,目前
在全球范围下的化石油燃料越来越少环境污染严重背景下,新能源电动汽车的发展逐渐壮大,车载低压动力变换器是电动汽车低压设备充电的重要组成部分。随着科学研究的发展,车载
彭荆风是当代军旅作家,早期作品围绕军旅生活与云南少数民族生活的书写,具有浓郁的边地色彩,是云南边地军旅文学的开拓者之一。文革时期中断文学创作长达22年。新时期重返文坛后将历经苦难沉淀与升华的人性思考注入作品创作中,并始终保持一种诗情画意的风格。20世纪90年代彭荆风将主要精力转入长篇小说与纪实文学的创作,将历史真实性与文学性相结合,为中国纪实文学的繁荣贡献了自己的力量。本论文以彭荆风作品为研究对象
近日,爱立信发布《流量与市场数据报告》。该报告称,随着移动宽带的普及,智能移动终端推陈出新,客户对移动网络质量的期望也越来越高。根据Speedtest.net的数据显示,从2010年上半年
螺杆钻具是钻井工程中常用的一种容积式钻铣工具,主要部件可分为四部分,分别是旁通阀总成、马达总成、万向轴总成和传动轴总成。螺杆钻具的主要优势在于转速快、输出扭矩大、
据市场研究机构IHSi Suppli表示,由于价格降低及政府对假冒产品和准合法竞争对手的打击刺激需求增长,2011年中国国内智能手机发货量将增长至5410万部,增幅53%。另外,今年中国智能
从1999年WCDMA网部署开始,在过去的10年中,全球通信业经历了漫长的奋斗历程。中国3G牌照的发放将给中国通信产业乃至全球通信产业带来巨大的机遇。在众多推动全球3G发展的因