基于文件的数据分级存储的研究与实现

被引量 : 8次 | 上传用户:ktyl2000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据一般分为两类,一类是可以利用二维表结构表示,使用数据库管理系统进行存储管理记录级数据;一类则是直接由文件系统管理的基于文件的数据。通常在数据处理过程中,对基于文件的数据的处理远远超过对记录级数据的操作,需要存储的基于文件的数据也远远多于记录级数据。这对存储系统的I/O性能和存储设备容量提出了更高的要求。同时由于数据并非生来就是平等的,伴随着生命周期的流逝,数据实际具有的应用价值也不断降低,存储价值也不断变化。由于存储设备I/O吞吐率、容量和价格的不同,若不能合理的分配存储设备会造成存储资源的浪费,增加存储的投入成本。如何解决规模庞大的基于文件的数据存储,提高存储系统中所有存储资源的利用率,解决传统存储在I/O和存储容量的瓶颈问题,分级存储有着重要的意义。在现有的分级存储系统中,大部分是针对固定的应用场景,而数据的重要性是动态变化的,在不同的应用中具有的实际存储价值也是不同。采用分级存储意味着数据必会在各级存储设备间动态迁移,合理的数据迁移需要遵循一定的迁移策略,才能实现分级存储的价值,对于现有的迁移策略,大都存在着考虑数据属性不全面的情况。针对目前分级存储存在的问题,本文在详细分析了分级存储的研究现状和存在的问题的基础了,设计了基于文件的数据分级存储模型。主要内容如下:1.设计了基于文件的数据访问特性记录表的数据结构,用来记录数据的访问情况。对于需要额外统计的访问频度给出了统计方法。系统每次获得基于文件的数据的访问信息时,不在需要扫描整个存储系统,只需增量扫描记录表,便可获得访问信息。2.提出了迁移对象选择策略,主要是根据文件访问特性记录表获得访问情况,计算数据的实际使用价值,确定哪些数据是需要被迁移的。3.提出了基于访问频度为主要指标,存储设备剩下空间和I/O热度为辅助指标的多指标数据迁移策略实现数据的迁移,以及如何在众多策略中自适应选择合适的策略。4、在数据迁移过程中,需要合理地控制数据迁移进程。在有外部中断请求时,应采取相应的中断处理过程,以保障迁移进程的继续进行。实验结果一方面显示采用分级存储能够有效的解决存储设备容量瓶颈问题,使得存储设备剩余空间在可控的范围内,保证占用空间分布平衡,充分提高了存储资源的利用率。另一方面显示采用数据迁移控制解决应用程序访问中断可以提高系统的吞吐率。
其他文献
禽白血病(Avian Leukosis)是由禽白血病病毒(Avian Leukosis Virus)引起的一种易传染的肿瘤性疾病。ALV能够引起鸡群患肿瘤性疾病,除了对鸡群造成直接危害外,还可导致鸡群免
2013年12月5日中国人民银行等五部委联合下发的《关于防范比特币风险的通知》。一石激起千层浪,比特币价格应声下跌。那么做为一种特定的虚拟商品,比特币的未来究竟会怎样呢?
目的探索医院多虚拟局域网(VLAN)环境下网络管理的有效方式。方法通过分析医院网络管理中存在的问题,提出利用PPPOE技术开展医院网络的接入管理;利用回程路由的方式,实现医院
孤独的崔健王鸿章不管怎么说,1995年崔健的郑州演唱会实是热闹极了,尽管到最后一块钱一张地处理门票,体育场里却制造了火、打斗、追逐的奇观,实在是一个创举;据说,“像是一台新纳粹分
本论文的研究对象为西班牙杰出钢琴家、作曲家,同时也是西班牙民族乐派奠基人之一的伊萨克·阿尔贝尼斯的钢琴组曲《伊比利亚》。本文将对《伊比利亚》总体特征进行简要概述,
木麻黄(Casuarina equisetifolia)是沿海地区主要的造林树种,对生态环境的改善和经济的发展具有巨大的贡献,但是,随着木麻黄林分的生长,大部分已进入衰老阶段,其自身的一些问题逐渐
企业形象是企业精神文化的一种外在表现形式,这种形式是通过人体的感官传递获得的。为此,公关广告必不可少。本文以公关广告特点为切入点,研讨公关广告与商业广告的优劣以及
近年来出现的锥束CT(Cone-beam Computed Tomography, CBCT)凭借其各向同性、快速、无损等成像优势已成功应用于医学诊断和工业无损检测等领域。锥束CT系统的实际几何关系与
我国的水资源的总体情况是总量丰富但是时空分布不均匀,人均水资源占有量少,利用率低。尤其是在我国北方地区,粮食产量占全国总产量的46%,但是水资源量仅占全国总水量的10%左
刺参是我国养殖和消费的主要海参品种,也是我国传统的名贵海珍品。随着人们生活水平的提高和保健意识的增强,刺参消费量急剧增长,已经成为众多消费者滋补强身、馈赠亲朋的首选,这