基于新型存储器件的键值存储系统性能优化研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:dfsdfsafdsfds
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
键值存储是支撑数据中心和众多数据密集型应用的关键技术,广泛应用于网页检索、电子商务、云存储、社交网络等领域。大数据时代下,键值存储的发展始终围绕着三大需求,即更高的访问效率、更大的存储容量和稳定可预测的性能。在近些年发展的新型存储器件中,瓦记录磁盘显著提高了磁盘面密度,具有低成本、高存储容量的优势;非易失性内存则能够明显提升访问效率,兼具传统硬盘的持久性和接近DRAM的存取速率。因此,新型存储器件符合键值存储的发展需求,是进一步提升和优化键值存储系统的关键。然而,现有基于传统块设备的键值存储系统难以适应新型存储器件的特性及访问模式。为了充分发挥新型存储器件的优势,避免引入额外开销,本文基于瓦记录磁盘和非易失性内存两种新型存储器件,提出了三种键值存储系统的性能优化方案:首先,在基于瓦记录磁盘的键值存储系统中,解决了冗余垃圾回收造成的存取性能下降和空间利用率低的问题;其次,在包含非易失性内存的混合键值存储系统中,解决了长尾延迟和写放大问题;最后,在基于非易失性内存的主存键值存储系统中,解决了键值存储的索引结构扩展性不足、无法高效地支持各键值操作的问题。
  瓦记录磁盘能够提供更大的存储容量,但必须严格遵循顺序写。顺序写使瓦记录磁盘在使用中产生无效数据,需要通过垃圾回收操作整理磁盘空间。日志结构合并树是键值存储系统主要的索引结构,尤其适用于写密集型负载。日志合并树的合并操作能够清除无效数据,维持数据分层有序,但造成了严重的写放大。因此,基于瓦记录磁盘的键值存储系统存在冗余的垃圾回收,即日志合并树的合并操作和瓦记录磁盘的磁盘空间整理。冗余的垃圾回收导致系统性能下降、磁盘空间利用率不足。针对这一问题,提出了一种基于瓦记录磁盘、无磁盘垃圾回收的键值存储系统GearDB。GearDB首先通过一种新的数据布局将日志合并树的同层数据在磁盘上聚集,为每一层设定一个合并窗口;然后为日志合并树设计了齿轮合并策略,将键值存储的合并操作限制在合并窗口内,通过释放不含有效数据的合并窗口自动回收磁盘空间,消除冗余的垃圾回收。GearDB的系统原型基于开源键值存储LevelDB实现,实验结果表明相对于LevelDB,GearDB在提升1.71倍系统性能的同时始终维持了90%的空间利用率。
  非易失性内存具有字节寻址特性和高效的随机读写能力,是提升键值存储系统性能的有力保障。日志合并树结构的合并操作一方面造成了写放大,另一方面阻塞了前台操作,造成长尾延迟。长尾延迟问题使系统性能不定期地下降,无法为用户提供稳定可预测的系统性能。针对这一问题,提出了一种基于非易失性内存的混合键值存储系统TriangleDB。TriangleDB采用DRAM-NVM-SSD存储架构。首先,将日志合并树中无序的顶层(L0)存储在非易失性内存中,使用三角形数据结构管理数据;其次,基于三角形数据结构,设计了一种细粒度合并策略,降低合并开销。TriangleDB的系统原型基于开源键值存储RocksDB实现,实验结果表明相对于RocksDB,TriangleDB消除了系统的长尾延迟,降低了写放大,并最终将随机写吞吐量提高了3.82倍。
  非易失性内存与DRAM存取速度相近,但存储容量更大,单位成本更低,是构建下一代主存键值存储系统的关键存储器件。当前支持内存键值存储的索引结构存在扩展性不足、无法高效地支持各种键值操作的问题。针对这一问题,提出了一种基于非易失性内存的持久化索引结构ComboTree。ComboTree由三层构成:中间层通过有序数组将整个键值空间划分为多个连续的子范围;顶层通过累积分布函数加速键值对在中间层的定位;底层存储属于每个子范围的轻量级B+Tree。当底层容量达到阈值时,ComboTree按键值大小依次进行后台扩展,同时支持前台访问。ComboTree的原型在Intel的最新非易失性内存OptaneDCPMM上实现,能够高效地支持各种键值访问操作并提升键值存储的扩展性能。相比基于非易失性内存的最新索引结构FAST&FAIR,ComboTree提升了2.9倍随机写性能和1.8倍的随机读性能。
其他文献
数据建模是机器学习和人工智能领域的重要研究问题,聚类分析可以有效地挖掘数据内在的模式和规律。复杂网络(图数据)作为新的研究热点,对理解社会复杂系统有着重要的作用,可以有效地用于推荐系统、恐怖组织挖掘等问题。近年来,网络结构的动态演变给社团检测建模提出了新的挑战,如何采用高效的学习模型挖掘动态复杂网络内在的规律,实现社团检测和演化分析,成为动态复杂网络研究的重点。从动态复杂网络中节点重要性、社团结构
语义分割旨在为图像中的每个像素分配一个预定义的语义类标签,使计算机能够通过视觉的方式对场景进行细粒度地理解。该技术被广泛应用于自动驾驶、城市规划、智能家居等任务中,是计算机视觉领域的重要分支。近年来,基于深度卷积神经网络的分割技术将任务性能提升到了一个新的水平。然而,现有的深度学习方法需要大量的像素级人工标注图像作为训练数据,使得这些方法所需的时间和金钱成本十分昂贵。为了减轻手工标注数据带来的沉重
学位
异构并行系统通常是指由中央处理器(Central Processing Unit,CPU)与图形处理器(Graphics Processing Unit,GPU)、现场可编程逻辑门阵列(Field Programmable Gate Array,FPGA)等协处理器共同组成的计算方式异构的高性能计算系统,因能提供更为高效的应用加速能力而被广泛部署,在大数据、人工智能等众多关键领域得到了广泛应用。当
Android(安卓)操作系统占据了智能终端操作系统的大部分市场份额,搭载Android操作系统的智能设备成为主流。由于移动智能终端携带了较多的用户隐私信息,同时Android应用的安全机制存在一定的局限,导致Android应用可能存在严重的安全隐患。需要对Android应用的安全机制特别是权限机制进行深入的研究,分析Android应用中的权限安全风险。同时关注和研究Android应用的安全漏洞,
学位
由于互联网信息的快速增长,用户面临着信息过载的问题。借助数据挖掘和人工智能领域中的相关技术,推荐系统能够帮助用户快速找到其感兴趣的信息,在社交网络、电子商务、在线阅读和广告投放等领域得到了广泛的应用。随着互联网应用的多元化发展,传统的推荐模型难以直接运用到新领域中以解决相应的问题。  以智能手机,笔记本电脑等为代表的电子产品更新换代通常较为频繁,而用户对于此类产品的消费周期则相对较长。传统的推荐系
学位
随着计算机软硬件技术的飞速发展,传统的动态随机访问存储器(Dynamic Random Access Memory,DRAM)因其存储能耗大、存储密度小、可扩展性有限等缺点已经无法满足应用越来越大的内存需求。新兴非易失性存储器(Non-Volatile Memory,NVM)尽管可以避免此类问题,但因其访问时延高、写次数有限及写功耗大,也无法直接作为系统内存。因此,混合使用小容量DRAM和大容量N
学位
随着计算机网络的发展以及智能手机等多媒体获取设备的普及,多媒体数据呈爆炸式增长,其中图像和视频数据已经成为大数据时代的主要数据类型。如何在海量的图像中以较小的时空开销准确找到用户感兴趣的图像成为多媒体领域的研究热点。针对图像的底层特征与高层语义间的“语义鸿沟”问题,以及全局图像表示缺乏几何不变性和空间占用较大的问题,利用深度学习、特征编码、哈希学习等方面的知识,论文系统探讨了图像检索系统中的描述符
学位
信息技术的发展促使数据规模急剧增长,进一步推动了云计算技术的发展与成熟,使得越来越多的企业和个人将业务或应用迁移到云计算平台上。在云计算平台中,云服务提供商往往采用共享服务架构,并通过虚拟化技术向用户交付服务。比如将租户应用部署在虚拟机内,而虚拟机共享计算、存储和网络等物理资源。共享服务架构能够提高资源利用率并降低管理成本,但会引入资源竞争,使得租户间的性能相互干扰。云存储系统作为存储服务的载体,
磁盘是数据存储最常用的设备之一,磁盘故障预测是保障数据可靠性的重要技术手段。磁盘故障预测方法一般可以分为两大类:设备级故障(即整盘故障)预测和扇区级故障(即局部磁盘故障)预测。学术界采用一些传统机器学习方法,例如支持向量机、逻辑斯特回归、决策树和随机森林等,预测磁盘故障并取得了一些成果。但是,这些研究仍然存在以下三个方面不足:(1)面对实际数据中心中单一型号数量较少(小样本)磁盘的故障预测问题,预
学位
固态盘(Solid State Drive)因具有高内部并行性、低随机访问延迟、低能耗以及小尺寸等优势,作为主流的存储设备被广泛用于个人电脑和数据中心。近年来,随着5G和大数据技术发展,对存储容量、性能和可靠性提出了更高需求。得益于半导体制程工艺技术、单元多比特技术以及三维堆叠技术的发展,闪存存储密度大幅提升。然而,存储密度的增长是以牺牲可靠性为代价,不可靠的存储介质会引起数据存储可靠性维护开销大
学位