纠删码集群内存空间回收方案研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:quantity22
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,为了在保证数据可用性的前提下提高内存空间效率,纠删码已逐渐被应用到数据密集型内存集群中来存放数据。当进行内存空间回收时,因为条带中同时存在冷热数据分块,冷数据分块不能及时淘汰出内存,导致内存空间利用率低,影响系统响应性能。针对此,对纠删码集群内存空间回收方案进行研究。为了提高内存空间利用率和系统访问性能,提出了一种关联性感知的内存空间回收方案(Correlation-aware Memory Space Collection,CaMSC)。CaMSC设计了一种替换更新策略(Replacement Update Strategy,RUS)来提高内存空间利用率。RUS首先通过条带重组方式来完成部分冷数据分块的回收,然后RUS用新进内存的数据分块来替换掉未能重组的条带中的冷数据分块,以保证所有冷数据分块都能被淘汰从而提高内存空间利用率。然而,RUS策略在回收冷数据分块时会产生额外的替换更新流量,内存回收效率低下,故设计了一种关联性感知的条带组织策略(Correlation-aware Stripe Organization Strategy,CSOS)来减少冷数据分块回收时的替换更新次数,从而减少替换更新流量,加速冷数据分块的回收。CSOS通过频繁序列挖掘算法分析出一段数据访问流中的关联数据分块,将关联数据分块组成条带,从而加大同一条带中多个数据分块同时被淘汰的概率,减少之后内存回收时替换更新次数;此外,CSOS还对原数据挖掘算法进行了优化,通过减少原数据挖掘算法的迭代次数和减少无效频繁序列的生成来提高数据挖掘算法的效率。在实际的纠删码内存集群环境中实现了CaMSC方案和其他两种空间回收方案(即,按时间局部性构造条带的空间回收方案Ta MSC和按块号大小顺序构造条带的空间回收方案BMSC),通过重放由YCSB生成的Trace来对三种方案进行定量化评估。测试结果表明,在两种对比方案默认不执行RUS策略时,相对于Ta MSC和BMSC,CaMSC分别提高了86.5%和97.75%的内存空间回收率,并减少了15.1%和17.8%的平均访问延迟。在两种对比方案执行RUS策略时,相对于Ta MSC和BMSC,CaMSC分别减少了13.2%~17.4%和45.3%~50.9%的替换更新流量,且CaMSC分别减少了10%~17.4%和34.4%~37.8%的内存空间回收时间。
其他文献
X公司是一家为整车厂生产汽车线束的公司。面对日益激烈的汽车市场环境,受到汽车线束产品自身生产特点的影响,作为劳动密集型产业,一线员工流失率高、招不到人是普遍存在的问题,再加上整车厂每年的降本要求使得企业盈利空间不断压缩。这迫使企业需要对自身生产现场进行优化,提高生产效率、消除浪费、降低成本、充分挖掘员工和设备的潜力,力求及时的将合格的产品交付到客户手中。本论文以X公司线束组装生产现场为研究对象,从
医药行业是一种知识型的产业,它的持续发展与药品专利制度的保护息息相关。一种新的药物从研发到进入市场,需要投入巨额的成本和大量的时间,且研发难度大。所以,新药上市后,如果没有药品专利制度参与保护,不给予其合理的专利垄断期,那么原研药企将不会获得足够的收益来弥补前期药品研发的成本和投入,还会不利于未来企业对新药的研发,形成恶性循环,最终导致医药行业的停滞不前。但如果对原研药企进行过度的保护,又会导致药
质子导体固体氧化物燃料电池(H-SOFC)因其特有的优势近年来得到广泛研究,然而阴极材料的缺乏在很大程度上限制了它的商业应用。由于H-SOFC的工作温度趋向于往中低温发展,开发在较低温度下具有高性能的阴极材料是H-SOFC大型商业化的关键目标。本文选择了两种典型的氧离子-电子混合导体BaCoO3和BaFeO3对其进行掺杂改性并做出对比研究,旨在开发三重导电阴极的同时对这两种材料的特性进行综合全面的
自2018年起生态环境损害赔偿制度开始在全国范围内展开实践,此前通过国家政策层面先后出台的两个方案,“主动磋商,司法保障”的原则已被正式确定,磋商程序也已由最开始的生态环境损害赔偿可选择程序转变为诉前必经前置程序。2019年6月5日最高人民法院发布《关于审理生态环境损害赔偿案件的若干规定》(以下简称《若干规定》)及改革以来典型案例,结合相关数据可以发现磋商制度已经被很多地区用于生态环境损害赔偿案件
根据《中国国土资源公报》的相关记录显示,至2016年末,全国耕地面积为13495.66公顷(20.24亿亩),居世界第三。由于我国耕地面积广,种植作物种类多样,因此使用农药产品的数量和种类繁多,我国已经成为世界最大的农药原药生产国和出口国。可是,由于部分生产农药的企业疏于对本公司废水排放的管理,致使含农药废水排放至开放环境中,导致生态环境压力日益增大。二嗪农是一种使用广泛的广谱、高效有机磷农药,它
伴随着互联网的发展和广泛应用,我国跨境电商体量逐年增长。在市场推动下,跨境电商的高速发展对原有的跨境物流模式也提出了更高的要求,物流模式面临着严峻的考验。海外仓在近几年成为了不少跨境电商企业的选择之一。R公司成立于2008年,原是一家传统的对外贸易出口公司,在几年的积累下业务有所发展,但是市场的多元化发展也让公司找到了另一块对外业务的机会,于是在2014年开始了跨境电商业务,综合分析考虑下选择了在
小样本学习是元学习的研究在监督学习方向的分支。元学习是模型学习如何学习的能力,小样本学习使用元学习方法自动学习如何在只能获得很少量数据的情况下正确的学习。本文的工作在模型设计和数据处理两个方面展开。模型的设计考虑到使用将模型参数限制在低纬度的空间内的方式来控制模型的学习过程,而该空间的建立又与遇到的当前任务相联系。我们将这个方法命名为解码器选择网络(DNC,Decoder Choice Netwo
遥感图像目标检测在民用、军事以及其他领域有着举足轻重的作用,然而由于遥感图像具有尺寸大、目标小且密集、目标呈任意角度分布、目标易被遮挡、目标类别不均衡、背景复杂等诸多特点,遥感图像目标检测仍然是极具挑战的任务。近年来,基于深度卷积神经网络的遥感图像目标检测方法因具有精度高、处理速度快等优点,受到了越来越多的关注。本文将任意方向的文本检测网络——旋转区域卷积神经网络(Rotational Regio
在目前的电子产品市场上,Flash存储器受到便携式电子设备的广泛青睐。Flash存储器存储数据的主要工作机制需要依靠沟道热电子注入效应(CHEI)和量子隧穿效应(FNEI)来实现,而这两种操作的实现需要高电压来完成。由于Flash采取单一电源供电,并且考虑到低电源电压以及小型化的要求,需要在Flash内部设计一个用于产生高压的模块来提供CHEI以及FNEI所需要的高电压。电荷泵由于其面积小、不需要
地质勘察行业承担着为国家开发和勘查自然资源的重任,它是我国国民经济的基础产业。当前,公益类事业单位的分类随着我国事业单位分类改革的不断深入而越来越明确,组织内资源重组是发展趋势,但目前部分地勘单位的绩效考核的形式以及考核方法等却显得滞后,原有的考核制度限制和阻碍了人才培养和人员流动。地勘事业单位绩效考核是激发单位人才队伍活力、提高事业单位工作人员工作积极性及工作质量的重要措施,也是现代地勘类事业单