基于LSM-Tree的键值存储引擎的优化研究与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:cdwkevin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
以键值(Key-Value,K-V)数据库为代表的非关系型数据库,能够为大数据应用提供高性能、高扩展性、高灵活性的数据处理服务。日志结构合并树(Log-Structure merge tree,LSM树)是键值存储系统的主流存储结构之一,其将随机写转换为顺序写,能够提供很高的写入性能。然而,LSM树内部的合并操作会带来很大的写放大问题,特别是在大键值对或高更新频率的场景下,写放大问题会进一步增加。键值分离的WiscKey设计通过将键和值分开存储,减小了LSM树的大小,一定程度上缓解了写放大问题,然而在高更新频率的场景其值存储文件中无效值会大量增加占用磁盘容量,增加垃圾回收的开销使系统性能下降。为了解决数据高更新频率场景下的性能低下的问题,本文基于LSM树结构和键值分离的设计,提出了一种热数据感知方案的键值存储系统。热数据感知方案通过一套机制,有效识别出具有高更新频率的数据并将其放入热数据缓存中存储,能够大幅度减小磁盘开销,同时也减小了LSM树的合并操作次数和键值分离值存储中无效值数据占用的空间容量。本文实现了具有热数据感知能力的键值存储系统原型,在高更新频率场景对系统进行了测试以及与LevelDB的对比测试。测试结果表明,在Zipf分布,具有热数据感知能力的存储系统能够以相对小的缓存容量有效将大量更新操作放入内存执行,其命中率超过了80%;在较大值场景读写性能均显著优于LevelDB。
其他文献
优先购买权是我国《公司法》规定赋予有限责任公司股东的法定权利,但对于具体如何行使优先购买权却未有进一步法规,导致司法实践中就优先购买权的行使问题出现诸多争议。而国
P2P网络借贷平台,是由网络技术与民间借贷相融合而形成的一种新型的金融产品服务网站。P2P借贷是Peer to peer Lending的缩写,正式的翻译表现为“人人贷”。P2P是随着互联网
语义网的快速发展和移动端的普及,使得空间语义数据(即空间RDF数据)大量增加,对空间RDF数据的检索成为了当下的研究热点。目前已经有一些查询语言支持RDF数据查询,如SPARQL、SeRQL等查询语言。使用这些语言要求用户在掌握查询语言的同时,还要了解待查数据的数据结构,这对普通用户而言过于复杂。因此,RDF数据的空间关键词查询得到了学术界和工业界的广泛关注。在此背景下,本文提出了一种基于摘要图的
Monte Carlo方法常常用来求解一些问题(往往很难得到其精确解)的近似结果,而其精度跟实验的重复次数有关。由于Monte Carlo方法原理简单并且容易实现,从而被广泛应用于各个领域。Monte Carlo方法实现的关键点是构造目标样本空间的一个(近似)均匀采样器,即在每次实验中每个样本点以相同的概率出现,这将保证Monte Carlo方法结果的精确性。本文旨在设计一个大小为n!样本空间上的
作为一种新型的成像方法,光场成像可通过单次拍摄获取三维空间的四维光场数据,并利用光场的多视角特性获得目标场景的深度信息。现有的深度估计方法不能很好的解决复杂遮挡场
现代行业环境复杂多变,作为行业主体的现代企业也面临着各种内部和外部的问题,企业在解决问题的过程中也逐渐形成了独具特色的商业模式,商业模式在企业前期运作的过程中提供了此时段范式的流程和成功的经验,能够迅速提升企业实力,给企业自身带来稳定且高速的发展。在全球化、信息化和网络化的现代,企业的商业模式创新成为了包括竞合对手、供应商、渠道商等协同创新内容。基于此,本文探讨了企业网络演进视角下的商业模式创新路
我国进入21世纪以来,随着国家全面推进素质教育,进行深化教育改革,重视学生思想道德、文化素质、科学知识、体育技能及审美意识的全面发展。美术教育作为全面推进素质教育的重要途径之一,不仅能够充分有效地提升学生的艺术素养,还能够多层次多角度地丰富校园文化生活。关于“美术”的概念,在核心素养的新课标下,新课标中的“美术”含义较之以往教材中的定义有所拓宽,其含义拓展到包括绘画、雕塑、工艺、摄影、计算机美术、
贫困一直是发展中国家面临的重要社会问题。随着脱贫攻坚工作的逐步进行,我国的反贫困事业取得了阶段性的胜利,但是贫困的分布形式和特点也发生了新的变化。贫困人口多分布在
互联网股权融资作为一种新兴的线上融资方式,帮助众多小微企业借助互联网传播优势,去中介化、快速高效的筹措资金,解决企业在初创阶段融资难的问题。事实上,由于我国资本市场
本文以消费者知情权为视角,分别介绍了欧盟采用的以保护消费者知情权为目的的强制标识制度与美国采用的将消费者知情权摆在“实质性差异”之后的自愿标识制度及两种制度的立