Ceph存储引擎中基于固态盘的日志机制优化

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:lady408
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Ceph是当前流行的分布式存储系统,具有很好的扩展性和可用性。随着存储技术的发展,SSD(即“Solid State Disk”)等新型存储器件逐渐普及,很多用户通过在Ceph集群中使用SSD来加速应用的访问。在典型的部署场景下,Ceph利用SSD构建分布式缓存池,或者在存储节点上将SSD作为HDD(即“Hard Disk Drive”)的日志设备来提升系统性能。但Ceph的存储引擎用来实现事务接口所采用的日志机制需要更新日志和文件,存在两次写入,限制了SSD对性能的提升。在SSD作为日志设备的场景下,针对传统日志机制的两次写入问题而提出的热数据延迟写机制,采用内存索引将日志设备变为热数据的临时存储空间,热数据的更新记录写入日志即可实现热数据的更新,降低了写延迟;采用热数据延迟写的方法,仅当回收日志空间时,再将热数据最近的一次更新写回文件系统,降低了写磁盘的次数;采用双日志结构,分别记录冷热数据的更新操作,其中冷数据的操作记录写入日志后直接写回文件系统,减少了日志空间回收时的读开销。基于固态盘的Ceph存储引擎日志机制的优化不仅保证了事务的原子性,还通过热数据延迟写和冷热分离的双日志结构降低了写磁盘的次数。在Ceph典型的部署场景下进行的多项性能对比测试表明,对于fio产生的没有明显热点的随机写负载,优化机制仍然能够保证系统的性能;对于filebench产生的热点明显的fileserver负载,优化机制能够大幅度提升系统性能。
其他文献
移动增强现实即在移动设备上将虚拟物体与真实场景进行叠加,实现两者的有机结合。目前大多数移动增强现实技术着重于对摄像头视角内对象进行可视化,但受制于其屏幕限制,无法
日新月异的计算机科学技术的迅猛发展给社会各个领域尤其医学领域带来了巨大的革新,医疗卫生行业逐步实现了信息化。电子病历作为医疗机构最重要的文件,其本身的信息化程度直
图处理系统正被广泛的应用于各个领域的数据分析中,随着图处理任务的增加,它们需要有效的应对多任务环境。现有的图处理系统一般针对单一任务设计,在执行并行任务时存在图数
随着视频共享系统和编辑软件的出现以及广泛使用,共享系统中的视频数量和种类快速增加。在这些海量视频中存在大量重复或在内容上高度近似的视频,增加了用户与视频共享系统之
人脸检测是一个复杂的模式判别问题,其难点主要由成像角度不同所引起:如平面内旋转和平面外旋转,偏转角度会直接影响判定人脸的准确度。当前基于深度学习卷积神经网络的检测
近年来我国高等教育学分制逐步推行,办学规模日益扩大,教学资源也显得相对紧缺,这就要求教务管理工作向着更高效的信息化和网络化发展。教务管理工作的信息化、模块化、便捷
随着计算机软、硬件的飞速发展,以及互联网和无线通信技术的日益成熟,基于嵌入式和无线网络的监控系统在各个领域发挥着越来越重要的作用。针对无人值守或特殊行业对远程监控
信息技术的快速发展促进了各行业在原有分布式业务信息管理平台下加强信息资源集成、共享、挖掘与利用。安全稳定及时可靠的数据交换网络是系统平台升级,行业之间行业内部频
相对于多副本存储,纠删码在保证数据可用性的同时具有存储效率高、可扩展性好的优点。因此,如何将纠删码应用在多副本集群中成为热门的研究方向。当副本集群为了提升存储效率
目前在数据库领域存在着大量的与个体相关的数据,如:人口统计数据、客户购物数据、患者医疗数据等,称之为微数据。这些数据对于趋势分析、市场预测等具有重要的价值。然而,由