基于MIC架构的内存键值存储系统的设计与实现

来源 :湖南大学 | 被引量 : 0次 | 上传用户:dage10
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网和智能设备的普及,海量数据现象随之而来。面对海量数据,传统的关系型数据库已无法继续保证高吞吐量、低延时的服务,基于NoSQL的内存数据库(IMKV,In-memory key-value store)开始替代关系型数据库,用以改善当前关系型数据库所面临的窘境。另外,得益于硬件技术的发展,内存的容量不断增大、价格不断降低,使得以往的磁盘式的数据存储因为费时的磁盘IO开始淘汰,并逐步转向内存存储,这使得数据访问变得更为快捷。再者,Intel公司在2012年推出的协处理器架构MIC(Many integerated core)提供了内存IO所需的高内存带宽以及大量的计算单元用于处理数据。IMKV开始面临新的机遇和挑战,本文基于以上背景,旨在设计和实现一款面向海量数据的IMKV,并期望借助MIC架构的高并发特点为海量数据存储提供高并发、低延时的服务保障。设计一个内存键值存储系统,并利用MIC架构来加速系统的索引操作。键值存储系统着重从三个方面进行了设计:(1)数据结构,设计基于Cuckoo Hash的索引结构,并针对MIC硬件特点作出优化;(2)调度策略,根据GET/SET/DELETE操作的不同延时要求,设计周期性、延时性的调度策略;(3)内存管理,为解决系统在CPU与MIC两端之间的数据传输与存储问题,设计了 slab内存管理系统。实现了一个基于MIC架构的内存键值存储系统,并对系统进行了一系列测试分析;(1)负载测试,测试不同GET/SET占比、以及不同sig-loc长度的负载对系统开销的影响,并分析其中原因。(2)同步机制开销测试,测试使用不同Linux同步机制来确保插入删除操作安全时对系统开销的影响,并分析其中原因,(3)对比测试,选取了 Mega-KV和Memcached与基于MIC架构键值存储系统做数据对比分析,分析各自优劣及其原因。
其他文献
目前,在国家审计领域,广大的审计人员的审计方式逐渐由纸质材料审计转向使用计算机进行审计,计算机在审计领域中逐渐显露出其强大的数据分析功效,国家审计署以及各地方审计单
全面建成多层次社会保障体系是党的十九大报告提出的明确目标,医疗保障作为社会保障体系中的一个分支,对民众享有基本医疗保障权利发挥着关键作用。其中“完善统一的城乡居民基本医疗保险制度”更是解决广大非就业人群“病有所医”问题的重点和突破口。城乡居民基本医疗保险制度整合是陕西省基本医疗保险制度体系建设最主要的结构性变革。受长期城乡“二元”结构影响,城镇居民医保和新农合在制度设计上有着诸多问题,使得公民无法
生物炭是一种稳定的富碳产物,通过农林废弃物等生物质在缺氧条件下热裂解形成。在我国北方地区,玉米和小麦作为最经常使用的粮食作物,其秸秆便成为了主要的农业废弃物。这些
借壳上市在我国的发展历史并不算长,却是A股上市公司并购重组最为重要的交易类型之一,广受资本市场各个参与主体的关注。近几年,随着上市公司并购重组交易的迅猛发展,借壳上
随着科学理论的进步与信息技术的发展,经典通信过程中信息安全逐步受到来自窃听者的威胁。量子通信基于量子力学原理可以使得用户之间实现远距离无条件安全的通信过程。量子
南方花岗岩红壤区水土流失严重,通过造林种植了大面积的马尾松,但是林分结构单一缺少其他植被的覆盖,马尾松林地水土流失依然严重。长汀县是马尾松林地水土流失最严重的县份
近年来,随着互联网技术的的高速发展和广泛应用,人类活动的每时每刻都会有大量的数据产生并进入计算机系统,我们将这些数据进行存储、分析和挖掘,并基于这些数据来提供各种多
邮件安全网关产品在过滤垃圾邮件、拦截敏感信息和防止核心文件泄漏等方面发挥了至关重要的作用。随着互联网用户的爆炸式增长,对邮件安全网关的处理性能的要求越来越高。将
猪瘟(Classical swine fever,CSF)是由猪瘟病毒(Classical swine fever virus,CSFV)所引发的一种急性、热性和致死性传染病。猪瘟标记疫苗(Marker Vaccine)具有区别猪瘟疫苗
建设用地集约利用是缓解土地资源供需矛盾,提高土地利用效率,优化国土开发格局,实现可持续发展的必由之路。基于延安市被列为新一轮国土空间规划试点的契机,本文以延安市区域建设用地集约利用评价为基础,着重分析各县区集约利用时空差异特征,提出针对性的对策建议,旨在为延安市科学规划并合理利用建设用地提供参考。首先,本文在客观分析延安市建设用地结构、分布及动态变化的基础上,采用多因素综合评价法,以延安市各县区为