基于SSD的Key-Value系统优化策略研究与实现

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:xutao6310794
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网技术的迅猛发展催生了海量的数据,越来越多以数据为中心的应用渗透到人们生活的方方面面。这些应用对存储系统提出了更高的要求。其中,如何为这些数据建立高效的索引成为一大挑战。Key-Value系统是一种为海量数据建立索引的有效解决方案,它具有操作延迟低、吞吐率高的特点。但是,Key-Value系统对底层存储设备的访问主要是随机读写,建立在磁盘之上的Key-Value系统必然性能低下。相比之下,基于闪存的固态硬盘(SSD,Solid State Drive)具有良好的随机访问性能,是构建Key-Value系统的理想存储设备。本文主要研究基于SSD的Key-Value系统查询优化策略,论文的主要工作和创新点有以下几个方面:首先,针对一种构建在SSD之上的Key-Value系统——Skimpy Stash中压缩策略性能低下的问题,提出了一种基于链表压缩的读写优化机制。压缩活动可以将链表中分散在SSD不同页面的Key-Value写入同一个页面,该策略通过在哈希表目录中增加一个压缩计数器来减少压缩次数,从而有效减少压缩活动对客户端的影响。实验表明,总的压缩次数平均减少了10%到34%。此外,还测试了压缩活动对平均查询时间的影响,指出了合理设置压缩因子的重要性。其次,针对整个系统中大量的Key-Value具有不同的访问热度、一些Key-Value之间具有相关性等问题,提出了基于热点数据识别和相关性检测的Get优化策略。该策略通过将热点数据提前、将相关数据放在SSD的同一页面来减少对SSD的读操作,从而有效缩短热点Key-Value和相关Key-Value的Get时间。实验表明,基于热点数据识别的优化策略能够将SSD的读操作减少6%,基于相关性检测的优化策略能够将SSD的读操作减少10%以上。最后,针对Key-Value系统对吞吐率要求较高的问题,提出利用内存映射文件机制减少对SSD的访问,从而提高系统吞吐率,降低访问延迟。该机制在对数据进行读写操作之前,先将一定粒度的文件直接映射到内存中。实验表明,这一优化措施能够将查询时间减少21%至30%。
其他文献
随着计算机、自动化技术的进步,机器人及相关技术的发展也越来越快。在众多机器人种类中,由于智能移动机器人同时具有智能和移动两方面功能,因此备受人们的关注。既能够模仿人类
本文的主要研究工作包括以下几个方面: 1.对IT产品分销行业的管理特点和IT产品特点进行了阐述和分析,为分销ERP设计方案和产品市场生命周期预测功能设计做出铺垫。 2.介绍
模型驱动体系结构(MDA)是由对象管理组织(OMG)于2001年提出的软件开发方法。传统的软件开发方法可以被看着是以编码为中心的开发方法,MDA则可以看作是以模型为中心,它将模型在
在社会信息化不断进步的过程中,互联网已经成为人们日常生活以及工作中不可或缺的工具。搜索引擎在互联网中是重要的一部分,而且随着网络中信息量的不断增加和信息更新速度的不
水平井产能预测在水平井开采过程中起到至关重要的作用,目前对水平井产能的预测大部分是由公式预测,准确度不高。同时长期积累下来的水平井数据没有得到充分利用。数据挖掘技术
供应链管理是企业管理的核心,贯通于企业运作命脉。目前市场竞争使供应链管理面临更多的挑战,供应链管理必须满足动态性、敏捷性和柔性的特点。因此,对供应链管理最外端的合作伙
随着Internet的快速发展,电子邮件也得到了越来越广泛的应用。然而传统的电子邮件存在的若干不安全因素(如邮件可能在不为通信双方所知的情况下被读取、篡改和伪造),使重要的需
随着信息技术的发展,各种设备的计算能力越来越强大,如何利用好各种设备的边缘能力,减少企业的开支,提高企业的经营效益是许多企业面临的问题。而P2P技术则给企业应用提供了一个
科学计算可视化技术把研究人员无法直观理解的数据变为人可以直接视觉感知的图形图像信息,目前已经成为科学计算与数值模拟领域不可或缺的技术和工具,在生物医学、计算流体动
本论文遵循MPEG-4和DVB-S国际标准,从设计者的角度出发,对DVB-S HDTV机顶盒的关键模块进行了全面的分析。所有的软件都是基于uclinux实时操作系统。研究的目标是开发具有基本的