LSM-trie存储系统性能优化研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:sam4567
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前数据中心单一服务器上的数据存储容量能够达到数十亿条键值( KV, Key-Value)对,并且单个键值对通常很小。如何有效地组织超大型键值存储系统使其支持快速访问是一项艰巨的工作。LSM-trie是一个基于日志结构合并树(LSM-tree, Log-Struct Merge-Tree)的面向海量小数据存储的超大型KV存储系统。相比LevelDB, LSM-trie采用前缀树结构和线性增长模式,有效地缓解写放大问题、减少定位数据时所需元数据体量,使得读写性能得到较大提升。但是LSM-trie仍存在两个问题:LSM-trie使用哈希方式组织数据,不支持范围查找;LSM-trie的串行查找机制限制了随机查找性能。  针对LSM-trie存在的问题,本文提出两种优化方案。针对范围查找问题,直接使用key排列数据以支持范围查找;采用RemainingTable和数据迁移策略来解决因取消SHA-1对key哈希计算后所导致的数据分布不均匀问题。针对随机读性能问题,优化了LSM-trie的查找流程,在Level0—Level3与Level4之间采用并行查找方式代替逐层串行查找方式,从而提高数据随机查找性能。  实验结果表明,相比于LevelDB,优化后的LSM-trie的范围查找性能提升最高达30%;相比于原LSM-trie,优化后的LSM-trie随机读性能提升最高达60%。
其他文献
随着无线ad hoc网络的不断发展,多径路由问题和QoS路由问题成为其研究的热点和难点。概率分析进化算法是将构造性模型引入进化算法进行研究而形成的一类新型进化算法,其中贝
随着计算机技术进步,特别是网络技术以及相应的网络应用的飞速发展,对于视频编码技术也有了更高的要求。现有的视频编码标准如MPEG-4、H.264等已经在视频编码的性能上取得了
本文对基于网络的问答系统进行了研究。文章设计与实现了一个基于网络的中文问答系统。该系统只利用网络搜索引擎返回结果中的摘要部分作为答案抽取的资源,从而节省了下载、分
随着我国电信业的发展,积累了大量的话务数据,对这些数据进行分析,找出其中的规律,然后进行预测,有助于做出相应的科学决策,对电信业的发展有重要意义。 话务数据可以看成是一类
对等(Peer-to-Peer,P2P)系统是一个迅速发展的研究领域。P2P系统的应用已从传统的文件共享领域逐步扩展到更广泛的广域分布计算领域,因而需要P2P系统提供确定性定位与低查询
随着信息技术的不断发展,采用计算机技术对过程进行控制和管理日益受到企业和组织机构的重视。传统的业务流程控制软件往往是针对一个应用进行定制,业务流程都被硬编码到应用程
随着网络技术的快速发展和网络规模的不断扩大,传统的IP网络仅提供“尽力而为”的服务,无法满足多媒体应用和各种用户对网络传输质量的不同要求。在资源共享环境中,一定会有各共
由于空间密度场可用来描述人群的动态运动和分布规律,对密度场导向下的人群仿真研究已成为新的热点。本文从密度场的获取、路径规划和碰撞避免算法等方面,提出了一种基于空间
面对日益增长的海量网页数据和更大规模的用户查询请求,如何保证较高的处理效率是当代搜索引擎面临的严峻挑战,同时也是信息检索系统始终需要解决的核心问题。另一方面,现代处理
随着经济飞速发展,人们已经深刻地认识到公路交通中所蕴含的巨大经济价值和社会价值,世界各国也随之对公路特别是路面质量提出了更高的要求。对路面破损进行科学的检测和评价,成