【摘 要】
：
基于非易失内存构建的持久化键值存储系统因其大容量、高性能、快速持久化等特性被广泛使用。为了满足应用不断增长的性能需求和对范围查询的功能需求,相关工作对持久化内存键值存储系统进行了优化,但以B+树作为索引的键值存储系统存在点查询性能低的问题,而基于Radix树索引的键值存储系统无法同时提供高性能和低空间开销,且崩溃一致性保证开销较大。针对上述问题,在非易失内存中设计实现了基于Min RT索引的持久化
论文部分内容阅读
基于非易失内存构建的持久化键值存储系统因其大容量、高性能、快速持久化等特性被广泛使用。为了满足应用不断增长的性能需求和对范围查询的功能需求,相关工作对持久化内存键值存储系统进行了优化,但以B+树作为索引的键值存储系统存在点查询性能低的问题,而基于Radix树索引的键值存储系统无法同时提供高性能和低空间开销,且崩溃一致性保证开销较大。针对上述问题,在非易失内存中设计实现了基于Min RT索引的持久化键值存储系统。采用搜索层和存储层解耦的方式设计了Min RT索引,在搜索层中基于Radix树设计了一种高查询性能的内部节点,在存储层中基于B+树叶子节点设计了一种查询性能较高且一致性开销较低的数据节点。为了缩短从搜索层根节点到数据节点的查询路径长度,为数据节点设计了最短的标识作为查询入口,减少了保存标识信息的内部节点个数并提高了系统的查询性能。使用位图和日志保证存储层数据的崩溃一致性,并提出了一种通过数据节点链表恢复内部节点的策略,减少了维护内部节点崩溃一致性的开销。此外,在Min RT索引的基础上设计了Min ART索引,通过内部节点的自适应变化进一步降低搜索层的空间开销,但会轻微牺牲查询性能。测试结果表明,基于Min RT索引和Min ART索引的持久键值存储系统,与ROART、FAST＆FAIR、PACTree相比,在Micro Benchmark负载下的Get操作吞吐率提高了5.5%～243%,在以点查询为主的YCSB负载下吞吐率提高了21.46%～112%,在以范围查询为主的YCSB负载下,吞吐率提高了3.83%～5.16%。当键值对数目为10M时,Min ART比PACTree和ROART降低了5.39%～25.39%的内存消耗。
其他文献
近年来,容器云平台迎来了高速增长,但由于容器是操作系统层的虚拟化,隔离性远不如虚拟机,使得多租户的容器云平台面临着资源安全的巨大挑战。资源度量数据（如CPU使用率、内存使用率、磁盘I/O吞吐和网络I/O吞吐）能够反映宿主机和容器的资源使用情况,对其进行异常检测是保障容器云平台资源安全的重要手段。针对当前异常检测算法存在着难以挖掘周期特性、对噪声误检高等问题,提出了基于奇异谱变换和局部异常因子的异常
随着云计算的发展,越来越多的云服务提供商选择使用轻量高效的容器技术,来代替性能开销较大的虚拟机技术。为方便管理云环境中容器间的网络通信,容器Overlay网络模型被广泛使用,通过封装数据包的方式在物理链路上提供一层虚拟网络,避免了对宿主机网络的复杂配置,成为跨节点容器间的主流通信方式。然而,现有网络流量控制机制无法识别被Overlay网络模型封装的容器数据包,使得容器平台无法像控制计算资源和内存资
In the field of energy industry,PLC（programmable controller）industrial control technology is a key technology.It is the core technology to control the automatic and efficient operation of business.The
近年来,随着5G通讯、物联网、人工智能等技术的迅猛发展,各类数据每年呈指数型增长,其中80%的数据都会转变为冷数据保存。如何将海量的冷数据以安全稳定、绿色节能、低成本的方式进行长期保存成为数据中心所面临的日益严峻的问题。均匀介质体存储（Homogeneous Medium Volume Optical Data Storage,HMV-ODS）具有在标准蓝光光盘大小的盘片中廉价安全存储数十、甚至上
商业化新型非易失性内存（Non-Volatile Memory,NVM）产品的出现为实现大容量持久缓存提供了良好的机遇。在大容量持久缓存中,索引结构是决定缓存访问性能的关键因素。另一方面,持久化存储可避免缓存冷启动问题,但需要提供数据一致性保障机制,避免因意外宕机造成缓存数据不一致。因此,如何设计高效的索引结构并提供低开销的数据一致性保障机制成为构建大容量持久缓存的重要挑战。针对上述挑战,结合NV
远程直接内存访问（Remote Direct Memory Access,RDMA）技术的出现为构建高速分布式存储系统提供了新的可能,但是RDMA区别于传统以太网的通信特点,促使分布式系统需要重新考虑通信模块的线程架构以及数据传输方式。现有的分布式块存储系统传输过程中线程切换和锁争用开销巨大,针对这一问题提出贯穿式通信模型,一个线程贯穿整个RDMA传输周期,避免多线程通信时线程切换和锁争用开销。目
近些年来,随着全球数据产生量的爆发式增长,上层应用对底层存储的要求越来越高。与此同时,出现了一系列存储介质、存储协议、网络通信等方面的新兴技术。基于光纤的非易失性内存接口规范（Non-Volatile Memory Express over Fabrics,NVMeo F）扩展了非易失性内存接口规范（Non-Volatile Memory Express,NVMe）语义,广泛应用于分布式存储的高速
分布式数据库凭借其良好的写性能和扩展能力在大数据场景得到了广泛应用,基于日志结构合并树（Log-Structured-Merge Tree,LSM-Tree）的键值存储系统是数据库中最为常见的单机存储引擎。当有热点访问或节点伸缩时,分布式数据库各节点间以数据分片为单位进行数据迁移,而这通常会改变LSM-Tree按比例逐层放大的稳定树形结构。为保持结构稳定,LSM-Tree必须在后台频繁执行合并操作
预取作为常见的片外存储器延迟隐藏技术之一,可以有效缓解“内存墙”问题。传统预取器通过学习存储器访问模式来预测将要访问的数据。然而,数据组织方式的复杂导致存储器的访问呈现出不规则的特点,且多核系统的使用也令访问模式难以辨别,这些都使得传统预取器的精准预测变得困难。为此,具有复杂问题建模和强大学习能力的机器学习方法被用于设计预取器。但现有基于机器学习的预取器只专注于地址预测的准确性,而忽略了调整激进程
最近这些年,鉴于中国经济形态的转变,消费成为经济发展的主要动力。在影视行业飞速发展的同时,越来越多的角色演员被招募进来。推荐技术没有跟上,故而本论文采取了与过去不同的思路,设计了一个演员推荐系统。本论文围绕演员推荐系统的目标设计了一套推荐算法,并实现了一套有效的演员推荐系统,为选角人提供个性化的演员推荐。首先,借助于查询、分类、阅读相关文献,学习国内外理论研究现状及成果,分析未来发展走向,了解利益