基于纠删码的分布式固态盘键值存储系统优化设计

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:plm0plm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网的高速发展带来了数据量的激增,海量的数据请求都需要存储系统提供快速响应,并提供高可用性保证。为提高系统性能,热门数据大量缓存在高速键值存储系统中,以减轻数据库的压力。缓存失效会导致数据库的负载极大增加,导致系统性能下降,甚至崩溃。Twitter的Fatcache与Facebook的Mcdipper均为基于固态盘的分布式键值缓存系统,为大量数据提供相对较低成本缓存,然而均未为数据提供可靠性保证。纠删码具有良好的容错性,存储开销小,被广泛应用于分布式存储系统中以保证数据可靠性,但纠删码在更新、修复失效数据块时需要获取大量数据,为系统带来了响应性能低、带宽成本高的挑战。论文设计了基于纠删码的高可靠固态盘键值存储系统EC-fatcache,实现了校验块日志方案以优化更新操作,在更新数据块时不对校验块进行及时更新,以减少固态盘寿命损耗、提升更新性能,针对校验块日志方案带来的降级读性能下降问题,设计了首块校验块优化方案以优化降级读操作,增加一个基于内存的节点集中存放各条带中的首块校验块,以提升性能、降低成本,更好地适应读密集应用场景。实验测试表明,EC-fatcache与副本方案相比能够节省存储资源89%以上;与不提供可靠性的原生系统相比,EC-fatcache的正常读操作延迟无增长,写操作延迟增长最多不超过10%;OPLG、EPLG、MPLG优化方案提升了EC-fatcache的更新操作性能50%以上;MPLG降级读性能相比OPLG、EPLG降级读性能最多分别提升了40%和24%。
其他文献
近年来,随着新零售概念的提出,电商的战火已经从线上蔓延到了线下,而社区便利店已然成为厮杀最激烈的一块阵地。纵观当前中国便利店,无论是传统的日系便利店还是新兴的社区便
并置模式挖掘(Co-location Pattern Mining,以下简称CPM)是基于空间数据集进行数据挖掘的研究。CPM目的是搜索位于空间邻域内频繁关联在一起的对象。在生物学、环境科学、流行病学等领域,挖掘这些模式是非常重要的。然而,由于空间数据集中隐藏了实例之间的关联关系,CPM在计算上具有很大的挑战性。模糊的对象在我们的日常生活中随处可见,比如“青年人”与“中年人”之间就存在模糊性,在这
滑模变结构控制对系统参数的摄动、外界的扰动、系统的不确定性等具有独特、优异的鲁棒性,并且算法简单,一直吸引着诸多学者的研究兴趣。但当系统运动状态到达滑模面后,会在
流程挖掘是从事件日志中提取流程模型的过程。由于在线流程挖掘中的流程处于不稳定的状态,导致挖掘到的流程模型随时可能发生变化,这种现象被称为流程挖掘中的概念漂移。概念
水系统是中央空调系统中应用广泛又能耗巨大的部分,本文以中央空调水系统为研究对象,研究一种方法,能够在不更换原系统用能设备的前提下,达到节能优化与智慧运行的目的,具体
这是一项从“固态性与流动性”辩证关联的视角关注社会转型背景下新生代农民工“村庄关联”的经验研究。论文以云南省曲靖市开村的新生代农民工为经验考察的对象,通过揭示经济社会结构压力下他们行动背后模式性的动机、理由和意义,文章分析了社会转型背景下新生代农民工“村庄关联”的性质、结构性关系及其原因。学者普遍采取“宏观性城乡二元对立的城市化”视角来看待新生代农民工。在这种视角下,他们被预设为普遍要城市化的主体
随着互联网信息技术的发展,数据的规模快速增长,计算机存储系统面临着机遇和挑战。传统的DRAM技术因工艺尺寸可扩展性和刷新功耗等问题在系统稳定性、数据可靠性等方面面临困
近年来,智能移动机器人技术得到了飞速的发展。而同时定位与建图(Simultaneous Localization and Mapping,SLAM)作为移动机器人的关键技术所在,对机器人能否在未知环境中进行
在云计算、大数据以及人工智能蓬勃发展的数字时代,每分每秒都有大量的数据产生。为了快速高效地处理这些数据,计算机系统处理器的数量在不断增加,这导致并行应用程序在充分
磁致伸缩导波检测技术具有单点激励即可实现长距离检测和不可达区域检测等优点,近年来被广泛应用于不锈钢管道检测。目前用于不锈钢管道检测的扭转导波传感器主要是利用预磁化的磁致伸缩带提供偏置磁场,这种形式的磁场不稳定,检测时很难保证激励信号的一致性。本论文在分析了带状磁致伸缩扭转导波传感方法的基础上,研究了偏置磁场对交叉线圈式传感器换能效率的影响,并对传感器进行了设计与制作。该传感器实现了对偏置磁场的调控