Ceph异构存储优化机制研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:tian358120
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近几十年来,随着互联网、物联网和移动互联网等应用的不断更新和发展,造成数据呈现海量式的增长。在越来越大的数据量面前,传统的单点存储已经不能够满足新时代的需求。在新的大数据背景下,分布式存储方式是解决海量数据存储的有效解决方案。Ceph由于其支持多种存储服务,既提供文件存储服务,又提供对象存储和块存储服务,同时又能够较好地克服了单点故障问题且具有良好的扩展性,从而使其得到了广泛关注。然而,Ceph的多副本机制使其在读写性能方面并未充分发挥集群优势,同时,在异构存储结构下,现有的存储策略限制了Ceph存储集群的性能。为此,论文深入研究了Ceph的存储机制,并提出了相应的优化策略。具体研究工作如下:1.研究了Ceph异构存储优化机制。首先针对Ceph采用强一致性的写入策略导致整个集群写延迟较高的问题,提出一种基于副本弱一致性的写入策略。进一步地,为有效的利用从副本节点的I/O性能,提出了一种基于副本弱一致性的组合存储优化策略。并对Ceph原生策略与优化存储策略做了实验对比,结果表明,基于副本弱一致性的组合存储优化策略在写吞吐量、随机读吞吐量、顺序读吞吐量、SSD命中率以及降低写延迟方面都有了较大的提升。2.基于SSD和HDD的异构存储架构,提出一种组合存储优化策略,从而充分利用异构环境下不同介质的存储设备的性能特点。通过建立对象热度模型,提出基于热度划分模型的异构副本组合存储策略,并分别对基于热度划分模型的异构副本组合存储策略、组合存储优化策略、原生策略,从集群读效率和异构副本不同组合方式读写性能等方面进行比较,结果表明,基于热度划分模型的异构副本组合存储策略在发挥异构副本性能特点方面有巨大优势。论文研究工作表明,在SSD和HDD的异构存储环境下,采用副本弱一致性策略以及组合存储策略,能够优化Ceph的存储机制,并有效提升Ceph集群的访问效率。
其他文献
膜蒸馏生物反应器(Membrane Distillation Bioreactor,MDBR)是一种可以实现对污水进行处理并回用的新型膜生物反应器,以生物技术代替污水处理生化阶段,膜蒸馏工艺代替深度处理
应用程序要求存储系统提供越来越大的存储空间,与此同时对存储系统的性能要求也越来越高。为了解决存储系统成本与性能之间的矛盾,使用固态盘和机械硬盘组成的分级存储系统被
建国初期,我国私人资本主义经济占相当大的比重,为了实现对资本主义工商业的管理,国家设立了中央私营企业局,一九五二年,将中央私营企业局改为中央工商行政管理局.从此,“工
<正>从"管理"到"治理",从"管制"到"管治","治"不仅包含着极具弹性的多元化因素,同时也代表着一种政治体制的变革。在过去半个世纪,欧洲大部分地区的社会空间、经济与政治结构
能量对无线传感器网络(Wireless Sensor Networks,WSNs)来说至关重要,是WSNs寿命以及工作时间的重要瓶颈,同时也是一直以来研究的热点之一。WSNs通常具有很大的部署数量、超小的体积、特殊的应用环境等特点,所以给WSN节点手动更换电池耗时耗力,并可能造成环境污染,增加了人工成本,有时甚至是极其困难且非常不现实的。因此,能量采集无线传感器网络(Energy-harvesti
“无与伦比”的北京奥运会和“有史以来最伟大的一届”北京残奥会,在奥林匹克和人类文明史上谱写了光辉的新篇章,也在中国及首都北京的发展进程中树起了新的界标。一次伟大的盛
温哥华市将在2015年继续为街道、人行道和公共空间寻找创新的设计,下面是一些2014年街道创新的例子。社区花园:在祉区花园内种植当地食物对居民来说是个绝妙的方法,同时还可能促
金属-有机框架由于其新颖的拓扑结构、独特的性能,在吸附、传感、光电材料等领域展示了诱人的应用前景,已经成为研究热点之一。芳香(含氮)多羧酸由于其多样灵活的配位方式及
色氨酸具有蛋白质合成及免疫、调节脂代谢等生理功能。犬尿氨酸代谢通路可以参与调节有关免疫、抗压、神经等多个方面的生理过程。本实验运用正常生理状态的肥育猪为模型,研
随着女性主义、消费文化、大众文化对中国文学市场的渗透,文学题材由以前宏大的叙事转移到对日常生活的描写中,一时间,以身体作为写作素材的文本快速出现在文学消费市场。“