热度感知的内存数据冗余方案设计及实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:sevinlee
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据量暴增的信息时代,内存存储已经成为许多数据密集型应用程序的关键组件,如OLTP和OLAP。然而,内存存储面临两方面技术挑战:一方面,内存系统中数据可能永久丢失或暂时不可用;另一方面,用户访问模式会导致内存数据的访问热度变化,而静态数据布局无法匹配动态访问热度变化。对于前者,需要引入冗余方案;对于后者,需要根据访问热度动态调整内存数据布局。因此,针对内存数据集的冗余方案及自适应数据布局问题进行研究。出于兼顾内存利用率和访问并行性的设计考虑,将融合副本和纠删码的混合式冗余方案引入到内存数据组织中,提出一种热度感知的内存冗余存储方案PaRS(Popularity-aware Redundancy Scheme)。该冗余方案能够根据数据分块的访问频次进行冷热数据划分,然后动态地增加、删除或者替换对应数据分块,从而达到快速响应用户或提高内存空间利用率的目的。具体地,内存数据按混合式冗余方式进行组织,对高访问频次数据分块增加其副本数量,提高访问并行性;对低访问频次数据分块则减少其副本数量,提高内存利用率。同时在整个PaRS方案中,通过数学建模实现热度等级划分,采用多种方法优化集群负载,自定义变换策略加速完成时间,添加抖动因子降低网络开销,设计数据更新顺序保证数据一致性。在实际的内存集群环境中,实现了PaRS方案和其他两种现有的存储方案(即,纯副本存储方案(REP)和纯纠删码存储方案(EC))。通过YCSB生成Trace对上述三种方案进行定量化评估。实验结果表明,相比REP方案,PaRS方案具有更低的访问延迟和更高的内存利用率;相比EC方案,PaRS方案能获得更好的负载均衡性和更高的访问并行性。在内存空间有限且容两错的条件下,相比REP方案,PaRS方案能降低平均访问延迟约15.1%~31.5%;相比EC方案,PaRS方案能够降低负载均衡指标约3.9倍以上。
其他文献
随着中国网民数量的急剧增多,尤其是手机网民数量,增长速度更快,所以手机APP的开发前景尤为可观.并且手机APP中携带的移动服务已经成为人们日常生活不可或缺的一部分.相应地,企业为了推广手机APP,就会使用许多虚假用户来刷榜单排名,而真实用户变得少之又少,这就造成手机用户数据分布不平衡的问题.此外,对企业而言,就很难辨别手机APP的真实用户;对用户而言,在下载相关APP时就会受应用商店的榜单排名以及
随着光学和光子学的日益成熟,高光谱技术也由此得到了显著的发展,由数百个相邻波段组成、包含大量有用信息的高光谱图像可以很容易被获取。在过去的几十年里,高光谱图像分类
随着社会的发展,机器人越来越被广泛的应用到了各行各业,在医疗,生活,军事,勘探,消防方面发挥着越来越重要的作用,单个机器人由于自身资源以及能力的限制,已经越来越无法满足现在复杂工作需要,为提高机器人的工作效率,多个机器人组成的机器人编队系统应运而生。机器人编队系统通过多个机器人之间相互合作,来完成复杂的工作任务,本文针对单个机器人的路径规划以及机器人编队协同控制问题进行了研究,在实现单个机器人完成
在当今制造业追求柔性生产、敏捷制造及智能制造的背景下,传统工业机器人采用人工示教的方式设计生产流程已经无法满足要求。而视觉伺服则是一种可行方案,它给机器人增加了视
目的:探讨高脂血症性急性胰腺炎(Hyperlipidemic acute pancreatitis,HLAP)临床特征,旨在对该病有更深入的认识,提升临床防治水平。方法:收集上海市第一人民医院2012年1月至2
随着科学技术进步与经济发展的不断融合,创新日益成为全世界关注的焦点。在此前提下,企业为了在激烈的市场竞争中立于不败之地,开始积极寻求与高校开展合作,共同完成技术创新
近年来,电能在能源消费终端的比重在不断增大。如何合理规划使用电能,避免不必要的浪费,节约能源,成为现代社会可持续发展的重要问题。因此,考虑可以通过对家电负荷进行监测,
中文辅助学习是中文自然语言处理的研究热点和难点。近年来,日益增加的中文学习者让其应用价值不断提升。众多的中文学习场景衍生出各种子问题,如语法侦错,句子剖析,论据推理等。从语言学的角度,这些问题可被分为语法和语义两类。本文选择语法纠错和论据推理作为语法和语义两类问题的代表,总结了当前研究现状下的不足之处与难点,并据此提出改进方法。主要的工作如下:(1)针对语法侦错中训练数据缺失的难点,本文提出了一种
目的:基于帕金森病(PD)的神经炎症免疫学说,多种机制和信号通路参与其中。本研究主要探讨NF-κB与PD形成,脑内炎症因子表达和多巴胺(DA)能神经元损伤间的联系,以及介导的神经
随着社会的不断进步、发展,优化问题逐渐受到越来越多的关注,多目标优化问题是日常生活中常见的一种优化问题,在科学研究领域和工程应用中,都有着较为重要的意义。进化算法和