Ceph分层存储优化策略研究与实现

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:sflljlove
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式存储系统Ceph不但具有高可靠性、高性能、可扩展性和数据自动均衡等特性,还结合了无中心化和无元数据寻址的先进设计思想。这些特点使得Ceph能在存储领域中备受欢迎。在分层的存储架构中,Ceph为进一步提高系统性能,将SSD存储设备池作为HDD存储设备池的缓存层。但在此分层的存储架构下,一方面,Ceph缓存存在污染问题,在系统中产生了不必要的I/O;同时,缓存池内存储节点负载不均衡的问题会影响系统性能的稳定;另一方面,客户端访问系统的延时有待进行提高。针对以上问题,论文通过分析Ceph分层存储架构相关机制,提出了优化策略,具体完成了以下工作:1.针对分层的分布式存储架构下缓存污染问题和节点负载均衡问题,提出基于缓存池的存储优化策略。该策略对集群内对象进行长时间粒度分析,更准确地判断对象的热度,根据存储对象热度进行存储池的选择,从而减少冷数据进入缓存池带来的开销;在此基础上,进一步提出了缓存池节点的负载均衡策略,该策略通过综合考虑缓存池内节点的容量、I/O性能、I/O负载等进行负载迁移,从而使得缓存池整体性能更均衡稳定。最后对本文优化策略进行了设计实现,并将其与系统原生策略进行实验对比,验证了本文所提出的优化策略可提升系统I/O性能。2.针对客户端访问存储集群带来的时延问题,提出了基于代价模型的缓存预取策略。该策略首先依据同一对象集内的对象的关联性,选取合适的对象进行预取,然后通过获得对象热度和网络传输延时建立对象的预取代价模型,从而进一步地合理选择预取的对象。对基于代价模型的缓存预取策略与原生系统进行了实验比较,结果表明,本文所提出的策略可有效降低客户端访问存储对象的时延。研究工作表明,在Ceph分层存储体系架构下,缓存池存储优化策略和基于代价模型的缓存预取策略对提高Ceph分布式存储系统的访问性能具有重要的意义。
其他文献
互联网的设计初衷是解决两点之间的通信问题,但是随着进入大数据时代,各类互联网应用及服务更迫切需要一个能够实现内容快速分发、高安全的承载网络。在这种背景下,以内容为
在大数据背景下,社会活动呈现出数字化、复杂化的趋势,公安机关为更好应对这一社会现象,在其行政执法过程中利用第三方数据是不可或缺的,且利用的范围和频率与日俱增。但是,
泛在电力物联网的快速发展,带来了更多的应用场景和更大的应用空间。用电信息采集系统作为泛在电力物联网的一部分,其应用也在发展,产生新的应用需求。而当前的应用协议已无
稀疏性重构是近几年快速发展的一类问题,在许多交叉学科有着广泛的应用。随着人类信息获取能力的不断提高,产生的数据量成倍增长,如何存储,传输,并利用这些数据挖掘出有价值
图像分割是图像识别,目标跟踪等任务的预处理步骤,在图像处理中占据重要地位,可用于医学检测和交通控制等多个与计算机视觉相关的方面。但是图像分割由于待分割图像数据的特殊性和多样性,一直没有通用的方法出现,同时平衡图像分割的精确度和算法的实施性也是研究过程中一个需要考虑的问题。水平集方法由于其自由变换拓扑结构的特点,在图像分割领域取得了优秀的分割结果。本文对水平集理论及水平集方法在图像分割中的应用进行了
大数据时代的到来,使得数据的使用、收集、储存方式发生了重大的变化:它彻底改变了记忆的模式,将人脑“短暂性”的记忆转变为数据“永久性”的记忆。数据化是一把双刃剑,它在
互联网和信息技术的快速发展满足了人们对信息的需求,但人们在享受其带来便利的同时,也面临着信息过载的问题。为了解决这一问题,推荐系统应运而生,并在电影、社交、电子商务
近几年A证券公司的运营发展非常迅速,在财富管理业务转型方面所投入的资源也比较丰富,这体现出了 A证券公司管理者对于财富管理业务转型工作的重视程度。在财富管理业务转型的过程中,A证券公司的经纪业务发展也受到了一定影响,部分老客户的流失使A证券公司对于财富管理业务转型的需求进一步提高。基于上述背景,A证券公司迫切需要结合财富管理业务转型工作开展的需要搭建一套科学的风险管理策略。通过有效的风险评价与分析
本文主要研究了度量测度空间(M,g,e-φdv)到具有非正截面曲率的黎曼流形(N,h)的φ-调和映照.在适当的条件下我们得到了 φ-调和映照u的梯度估计,并利用该估计证明了在∞-Bakr
近年来,无人机技术的迅猛发展,同时促进了低空遥感相关技术的快速进步。无人机所具备的操作便捷、高效率、成本低等优势,使其被广泛应用于林业监控、灾害应急响应等领域。由于无人机进行低空航拍所获取的图像视角较小、数据量大且分辨率较高,为了得到拍摄场景的完整的视野,需要通过拼接技术将大量的小视角图像拼接成大场景图像。对林地的生长状况进行动态监测还需要对植被进行分类提取,因此选取何种算法实现精确、高效的图像拼