Redis数据库在非易失性内存上的交换技术的研究与实现

来源 :重庆大学 | 被引量 : 0次 | 上传用户:runqiusheng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
内存数据库所有的数据操作全部在内存中执行,所以内存数据库对于请求的响应速度远远超出了磁盘数据库。但是内存数据库具有掉电丢失数据的缺点,为了保证数据不丢失,内存数据库通过不同的策略将数据备份到磁盘中,此时磁盘就存储日志或者快照备份。而磁盘存储备份,加上引入了I/O操作,整个内存数据库的性能受到极大的影响。近年来出现的非易失性内存(non-volatile memory,简称NVM),不仅读写速度接近DRAM,还具有可字节寻址和数据非易失等特点,所以新兴的非易失性存储器技术提供了通过在NVM上部署Key-value内存数据库(KVDB)来提高性能的机会。但是,目前已经存在的Key-value内存数据库并不能很好的利用NVM的特性。它们普遍在内存中处理数据然后通过底层的文件系统来保存数据镜像,数据库的性能被备份机制和IO操作降低。因此,本文利用新型的非易失性内存,针对Key-value内存数据库的关键技术进行了研究与优化。本文主要进行了如下的技术研究:(1)NVM物理空间的管理。对于空间管理,本文在操作系统内核中进行了空闲链表管理。为了减少系统调用产生的性能损耗,在系统启动时,在用户地址空间进行空间的预分配操作,小粒度的分配全部由预分配的空间来分配管理,大粒度的空间则通过系统调用直接从内核中分配。(2)数据库数据全命中。内存数据库(例如Redis等)都受到内存大小的限制,当物理内存的空间无法存储全部的数据时,类似于Redis这样的内存数据库就会通过删除过期的数据或者一段时间未访问的数据来解决内存不足所带来的影响,再次访问被删除数据时就会出现数据不存在的情况。本文利用NVM大容量的优势,将数据库直接运行在NVM上,不仅保证了数据库的持久化,而且突破了物理内存的限制,使得数据实现了100%的数据命中率。(3)数据交换算法。NVM虽然能保证数据全命中,但是NVM的读写性能低于DRAM,为了能维持原有的数据库性能,本文将NVM作为数据库的持久化介质,DRAM作为数据缓存,将热数据通过交换算法移动到DRAM中,保证了数据库的读写性能不受NVM的影响。本文针对上述提出的技术研究方向,利用开源的内存数据库Redis,实现了基于非易失性内存的Key-value内存数据库FHRedis(Full Hit Redis)。FHRedis将数据库移植到NVM上,新增NVM的空间管理和NVM与DRAM之间的数据交换算法。最后使用Redis-benchmark和自行编码的测试工具进行了性能测试,和基于磁盘的Redis、基于EXT4_DAX的Redis相比,在数据库启动和关闭,以及性能方面都有了显著的提升,另外数据库命中率达到了全命中的效果。
其他文献
风电场由许多风力发电机构成并耦合到电网中。在现代国家中强调清洁可再生能源,但其最大的缺点是自然资源的波动和变化,例如风力不强或太强,将无法转化为电能。另外一个严重
本论文基于石墨烯及其复合材料研究的最新进展,通过聚离子液体和杂多酸非共价修饰石墨烯的方法,成功地制备了聚离子液体修饰石墨烯和杂多酸/石墨烯复合材料,并对其形态结构和
数字图像作为电子证据的一种,在证明事实真相中扮演着重要的角色。随着计算机技术与人工智能技术的发展,图像的真实性受到了严重的挑战,图像的真实性检验成为了一个新的研究
背景和目的多发性骨髓瘤(multiple myelom MM)是血液系统恶性肿瘤中第二常见肿瘤,大约占10%,属于克隆性浆细胞恶性疾病,其特点为骨髓中克隆性浆细胞聚积,贫血,高钙血症,肾功
当今企业竞争日趋激烈,物资采购作为企业供应链的源头,在企业对外竞争中具有非常重要的作用。物资采购流程的各个环节一旦出现问题,就会影响到采购预期目标的实现,因此物资采
道路作为国民经济的命脉,在生产生活中发挥着十分重要的作用。机载激光雷达(Light Detection and Ranging,LiDAR)技术可以快速获取高精度的三维(3 Dimension,3D)点云数据,它
面对信息时代数据流量的爆炸增长,模式复用(MDM)技术可以突破传统单模光纤通信系统传输容量瓶颈,满足光纤通信系统的通信容量提出的更高的要求。另一方面,MDM技术要走向实用
本文基于微扰量子色动力学,计算了在大型强子对撞机(Large Hadron Collider,LHC)能区相对论核-核碰撞中,分解光子过程对胶子-胶子熔融产生Xc,b(1+)介子的贡献。具体的计算包含相
视觉信息作为最直观的媒体,是人类感知外界的重要媒介。图像和视频处理一直是专家学者们研究的重要课题,而特征提取是其中的关键问题。特征提取的目标是获取能够反映图像和视
随着主干网业务的急剧增长,目前波分复用的单模光纤传输方案已经难以满足人们对带宽资源不断增长的需求。开发信号其他维度的复用技术以扩展光传输系统容量已成为当前光纤通