【摘 要】
:
随着信息科学技术的高速发展,每年需要收集并存储的数据量越来越多。根据研究机构IDC的相关统计与预测,每年产生的数据量将保持50%的增长速度,单节点存储技术已难以满足这种
论文部分内容阅读
随着信息科学技术的高速发展,每年需要收集并存储的数据量越来越多。根据研究机构IDC的相关统计与预测,每年产生的数据量将保持50%的增长速度,单节点存储技术已难以满足这种海量的存储需求,云存储技术应运而生。在云存储技术的分布式文件系统中,元数据量虽然占总存储容量空间比例非常小,但是,访问请求比例却达到总访问请求量的50%以上,因此,提升元数据访问的性能,能有效提升文件系统的总性能。基于ceph文件系统的研究与分析,提出了两种缓存备份方案:日志缓存备份方案和元数据缓存备份方案。日志缓存备份方案通过缓存日志信息,减少日志更新到数据服务器集群所需要的时间,从而降低元数据的访问延时。元数据缓存备份方案通过缓存元数据信息,消除记录并存储日志所需时间,减少元数据更新到数据服务集群所需要的时间,从而有效的降低了元数据访问操作的延时。为了防止元数据服务器中缓存数据的丢失,还提出了一种缓存数据备份方案。相比于ceph系统的元数据管理子系统,日志缓存备份方案和元数据缓存备份方案都能够有效提升元数据的访问性能;相比于日志缓存备份方案,元数据缓存备份方案能够更加有效的提升元数据的访问性能。但元数据缓存量比日志缓存量大,需要备份的数据量更多,占用的缓存容量空间更大。最后,基于ceph系统开源代码,实现了两种缓存备份方案,并使用vdbench和filebench测试工具,分别测试了这两种缓存备份方案和ceph系统的元数据管理子系统的性能。测试结果表明,相对于ceph系统的元数据管理子系统的性能,日志缓存备份方案的性能能够提升11.5%;元数据缓存备份方案的性能能够提升15.7%。因此,日志缓存备份方案和元数据缓存备份方案均能有效提升元数据的访问性能。
其他文献
如今Internet应用如火如荼,IP宽带业务高速发展,网络流量不断的扩张,骨干网络中采用了流量工程技术来均衡负载,最大化的利用资源,减少拥塞的发生,以确保应用业务的IP QoS需求。MPLS
工作流是针对工作中具有固定程序的常规活动而提出的一个概念。通过将工作活动分解成定义良好的任务、角色、规则和过程来完成执行和监控,达到提高生产组织水平和工作效率的
图像编码是多媒体信息处理的核心技术。图像编码的目的是通过消除图像中象素间冗余、统计冗余和视觉冗余,以较少的比特数达到图像高视觉质量压缩的目的。压缩比和视觉质量是衡
随着网络的发展及企业规模的不断扩大,企业内部网的信息管理也越来越复杂,存储在系统上的敏感信息需要不同级别的保护,工作流技术的普遍应用也加大了对数据安全控制的复杂性。企
随着嵌入式技术的不断发展,各种嵌入式实时操作系统相继出现,给各个嵌入式应用产品开发商提供了多种选择,但是基于很多嵌入式操作系统建立系统平台软件的方便性和稳定性都不
随着海量数据的产生,对数据的存储和访问性能要求越来越高。在分布式文件系统中,元数据访问是数据访问的必经之路,并且在所有访问中,元数据的访问占了50%以上,因此提升元数据
随着半导体技术的飞速发展,闪存的生产成本随之下降,基于闪存的固态盘(SSD,Solid State Drive)技术在存储系统中的使用越来越广泛,相比于传统的机械式硬盘(HDD,Hard Disk Drive),SSD没
大数据时代对于应用多样性的需求和存储数据爆炸式的增长使得数据中心面临提高性能、降低能耗、增强扩展性和灵活性的挑战。以太网光纤通道(FCoE,Fibre Channel over Etherne
本论文是结合电力行业具体解决方案的研发而完成的。解决方案要求实现自动化综合监控系统,实时监控现有其它服务程序和系统资源的运行状态,并根据预先设定好的规则触发相应动作
答疑解惑是教学过程中不可缺少的环节,如何在Internet环境下设计具有自动答疑功能的网络自动答疑系统,成为当前智能教学的研究热点。目前国内外在这方面做的工作,主要集中在如何