RLSM:一种延迟抖动优化LSM--tree

来源 :浙江大学 | 被引量 : 0次 | 上传用户:wh54997695
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,数据存储领域的挑战和机遇接踵而至。面对海量数据的存储和管理问题,在关系型数据库存储引擎的基础上,更多的提高存储性能、容错性、可扩展性的存储引擎被设计出来。其中日志结构合并树Log-Structured Merge Trees(LSM-tree)作为一种为写负载优化的数据结构在现代得到了更多的应用。
  基于LSM-tree的存储引擎为了提供更佳的写入性能,将客户端的:写入操作以日志(log)的格式保存在内存中,达到一定条件后批量延迟写入到磁盘的分层数据结构中存储。为了提高读取性能并减少存储空间的使用,LSM-tree通过后台任务的方式维护一个数据压缩操作(compaction)来删除过期数据。由于compaction操作会大量消耗CPU并占用IO,其严重阻碍了LSM-tree整体吞吐量的提升。学术界已经提出各种优化相对成功地解决了这个问题,这些技术包括限制落盘(flush)和压缩的速率、有选择的执行压缩以获得最佳压缩效果,以及通过提出新数据结构.分段LSM-tree最大化的限制压缩但不影响读写性能等。尽管提出了各种优化压缩的方法提升了系统性能,但在延迟敏感(1atency-intensive)、要求提供低延迟和可预测的吞吐量的应用程序中,因为客户端经常进行并发查询,其总体延迟由最慢回复请求的响应时间决定,所以为了不影响服务质量,在考虑吞吐量的提升之外,需要更多考虑性能抖动和长尾延迟的问题。
  本篇论文首先综述了LSM-tree的研究现状,接着对多个旨在提高吞吐量的LSM-tree存储系统进行性能和延迟实验,发现了其具有的一个共同问题:写入延迟会发生剧烈的抖动,表现为很长的99百分位延迟时间。通过实验分析发现,产生抖动和长尾延迟的根本原因是客户端写入、落盘和压缩三个操作之间的相互干扰和不协调。针对这个问题,本文设计了一种为写入延迟优化存储结构RLSM,创新地提出了LSM-tree系统的IO动态分配和压缩调度器的概念,对客户端写入、落盘和压缩操作进行精细的同步和协调,包括在低写入负载期间地将更多IO分配给落盘和压缩操作,对落盘和不同层级的压缩操作进行优先级排序,以及在高写入负载情况下允许落盘操作抢占压缩操作等新理念。
  RLSM是一个平衡了读写性能和写入延迟的LSM-tree存储结构。在公开基准上的实验表明,RLSM作为一个键值对存储引擎在不降低读写性能的情况下,明显的改善了延迟抖动和长尾请求问题。
其他文献
随着信息的爆炸式增长,从海量数据中提取出关键信息已经成为当下研究的热点。作为信息抽取中重要的子任务,关系抽取能够帮助分类文本实体之间的关系,服务于知识图谱构建、自动问答、知识推理等多个任务上,受到学术界和工业届的广泛关注。
  传统的关系抽取方式主要基于模板或者特征工程,非常耗时耗力。随着深度学习的蓬勃发展,基于深度学习模型在大部分领域已经取得了超越传统抽取方法的良好效果,也是关系抽取目前的主流做法。但是基于深度学习的方法通常都需要构建大量均匀分布的训练数据,这样的条件在实际场中很难满足。
 
跨域图像转换的应用领域非常广泛,计算机视觉和计算机图形学中的许多问题都可以归结为跨域图像转换问题,该技术是计算机视觉领域的热点研究方向之一。目前基于卷积神经网络的深度学习方法被广泛应用于跨域图像转换中,大大提升了转换效果,但是这些方法还存在以下问题:生成图像模糊、跨域转换效果不理想、难以学习不同图像域的本质规律、转换受图像背景的影响较大等问题,本文针对上述问题展开研究,具体工作如下:
  (1)提出了基于自交叉自编码器的跨域图像转换算法:该算法将来自不同领域的图像统一处理,简化生成器结构,减少参数数
建筑立面的语义分析是计算机视觉和图形学应用中的重要问题,对于三维城市建模、场景可视化、城市场景理解等任务是必不可少的一环。窗户作为建筑立面中最为主要的组成部分,从立面中检测窗户,是立面分析任务中最为主要的组成部分之一。建筑立面窗户检测的目标是,给定一张彩色建筑立面图像,从中定位窗户的位置。窗户位置可以由其关键点、包围盒、语义像素区域等方式所描述。由于立面与窗户的多样性,本文采用更为通用、鲁棒的语义关键点来描述所检测的窗户区域。
  本文研究提出了一种基于多特征图融合以检测建筑立面窗户的方法。特征图包
摘要:危险化学品仓库多存有易燃、易爆、有毒物品,一旦发生火灾将会造成重大的财产损失,甚至人员伤亡。危险化学品火灾事故让人触目惊心,为尽量避免此类事故,本文将详细分析危险化学品火灾事故的特点,并且提出几点预防危险化学品事故的策略,希望能够实现预防要为主,将隐患消灭于萌芽中的目标。  关键词:危险化学品火灾;特点;预防  危险化学品是指化学品中符合有关危险化学品标准规定的化学品。依据国标“《常用危险化
期刊
随着城市的发展,堵车已经成为城市生活中日益严重的一个问题,从过去的交通广播,到接受实时路况信息的电子地图,再到对交通情况进行持续检测并及时告警的智慧交通系统,人们应对堵车的方式也越来越先进,但是这些系统仍然无法对于交通堵塞区域的形成与交通流量的发展变化给出足够的预测与预警,以供交通管理部门提前预防交通堵塞的形成。交通流量预测是解决该问题的有效方法,准确的交通流量预测可以帮助交通参与者提前规避拥堵,节约时间与驾车成本,降低道路拥堵发生的机率与严重程度。
  首先,本文利用采集获得的杭州市出租车轨迹数据
近年来,音乐与计算机领域二者交叉的趋势愈发兴起,而音乐教育中最重要的领域“音乐陪练”却始终进展不大,归根结底在于自动音乐转录和曲谱匹配两个子领域对于音乐的解析成果有限,难以应用于真实场景。本文分析确定了目前最主要的挑战并给出了对应的解决方案,提出了一种在实际场景中切实可行的通用实时音乐演奏纠错系统。本文的创新点为:
  1、提出了频谱片段级别转录方法。本文分析主流“帧级别”转录后逐帧拼接的方案精度难以达到实用标准的根本原因在于:单帧频谱信息不足,难以支持高精度转录。本文根据“相邻音符起始点之间的音高
随着计算机辅助医疗的发展,越来越多的医学数据的数字化不仅给医生临床应用带来帮助,而且为医患沟通带来新的数字化体验。在计算机辅助医疗中,数字口腔是一个重要的领域。数字口腔系统中,患者的牙齿、牙龈等信息非常重要,但是通过医学设备得到的牙齿形态数据通常不完整,或精度不高,常需要设计算法才能得到高精度且完整的牙齿模型。
  围绕数字口腔中的牙齿形态数据,本论文提出了牙冠自动修复算法以及包含牙根的牙齿整体形态重建算法,并设计实现了数字化隐形矫正器的模拟与生成算法。本论文主要内容包含:针对口内扫描得到的牙冠模型
现今时代是信息时代,同时也是数据时代。信息数据的爆发式增长,不仅使数据科学领域越来越热门,也让数据挖掘技术面临前所未有的机遇和挑战。其中,信息网络数据广泛且大量地存在于人们的生活中,为了发现信息网络数据中潜在的知识和价值,人们需要对网络数据进行有效的分析和挖掘。
  网络表征学习是将信息网络中的节点表征为低维向量的技术。该技术寻找一个合理的映射函数,把具有复杂拓扑结构的网络节点映射到低维向量空间。该低维向量能够隐含地保留节点在原网络中的拓扑结构特征,从而能够代替原网络节点作为分类、聚类、可视化等各种
摘要:社会经济发展的同时也促进了企业的发展,但与此同时也加剧了企业的市场竞争激烈程度。企业日常工作中的主要内容就包括政工工作,企业通过开展有效的政工工作,能够使员工的思想素质得以显著的提升,同时还能够提升企业的管理水平,在一定程度上有利于提高企业的经济效益。本文分析了企业发展中政工工作的重要性,并进一步探讨了加强企业政工工作有效性的措施。  关键词:企业;政工工作;重要性  企业要想有效改善员工的
期刊
在实际场景中,用户的身份标识符通常是不可用的,例如用户在购买商品前以未登陆的状态来浏览电商平台,或者匿名地浏览网页从而保护个人隐私。会话推荐系统就是在这种背景下被提出,其根据短时会话窗口里的匿名点击序列来推荐下一个物品。主流的模型利用RNN来捕获序列行为特征,从而刻画匿名用户在会话期间的短期偏好。这些方法在点击预测性能上有显著的提升,但忽视了购买物品在其中的重要作用一用户通常以特定的购买意图来浏览平台。因此,本文提出了基于强化学习的会话型推荐系统,旨在提高匿名用户的购买意愿。
  将用户在会话期间和