基于对象的分级存储系统数据迁移技术研究

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:zhang_jun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
以数据为中心的计算模式对存储系统的性能和可靠性提出了新的更高的要求。目前,PB量级的存储系统需要由成千上万的多种存储设备构成,高并行性、高可靠性和高性价比是海量存储系统的三项关键要求。本文在对象存储的基础上,融合了在线存储和近线存储的思想,提出了由固态盘、高性能磁盘阵列和虚拟磁带库作为本地、近线和在线存储组成分级海量存储系统,通过数据的自学习迁移,可保证存储系统在高性价比的条件下,获得更高的并行访问速率和可靠性。本文采用基于分级存储管理的思想,提出了基于对象存储的分级存储模型,其中具体提出了OBV对象价值评定模型、自学习对象预取策略和对象迁移过程控制策略。首先通过实现了基于OBV模型的对象迁移策略验证了对对象价值的精确判定;通过实现基于OBV并结合对象预取的迁移策略证明了本文提出的基于对象自学习预取策略可有效提高存储系统的访问性能,验证了基于对象自学习预取策略较强的自学习能力;通过将迁移过程控制策略与以上两种迁移策略集成在一起,验证了通过结合迁移过程控制策略可以在尽量减小对系统影响的情况下进一步提高访问高性能设备的命中率,提高系统的访问性能。本文的研究内容主要包括以下几个方面:(1)研究了分级存储策略的现状,详细对比分析了固态盘、磁盘阵列、虚拟磁带库VTL等存储设备当前的性能、可靠性等因素。(2)研究了存储结构的演变过程,重点研究了当前的热门存储结构——基于对象存储的结构和特点。(3)以Lustre文件系统为基础提出了利用SSD、高性能磁盘阵列和虚拟磁带库作为本地、在线和近线存储的基于对象的多级存储系统结构,它通过将各种属性和活跃度不同的对象迁移到不同性能级别的存储设备来提高整个存储系统的访问性能。(4)提出了OBV对象价值评定模型,实现了对对象价值的精确评定,在此基础上实现低价值的对象由在线存储的高性能磁盘阵列级向低性能大容量虚拟磁带库级迁移和虚拟磁带库级中高价值高活跃度的对象向高性能设备级中的迁移。(5)提出了通过将历史访问信息分时间片并分配一定的权重比例的基于概率统计的自学习预取策略,改进并实现了根据访问模式、用户、历史信息的HUM自学习预取算法,将以上算法与文件内的预取算法综合之后得到我们最终的综合自学习预取策略,可以精确地将低性能设备级中即将被访问的对象提前预取到高性能级别设备中。(6)建立了数据迁移过程控制策略的原型,内容包括迁移时机的选择;迁移过程中利用信息反馈控制机制实现对数据传输速率的调整设定,以尽量减少迁移对系统正常的访问性能的影响;迁移过程中根据及时反馈系统访问对象的变化更新迁移对象的价值信息,实时调整数据价值迁移队列;根据反馈的访问对象尽快调整预取队列中的对象,以实现将最需要迁移的对象尽快迁移。
其他文献
"定单式"人才培养模式一直是高职院校艺术设计类专业的工作重点和难点。本文以环境艺术设计专业为例,从"定单式"培养模式的理论和实践两方面进行研究,提供一种可供借鉴的思路。
建设符合学校发展需求的质量管理数据平台,是高职院校建立内部质量保证体系诊断与改进机制的重要内容和基础。潍坊职业学院在校本质量管理数据平台建设应用实践的基础上,探索
基于近十年来国内对公示语翻译研究现状的调查与分析,对公示语翻译错误及原因、翻译原则及策略两方面的研究成果进行了回顾与反思。在综述前人研究成果的基础上,提供可行的研
GIS技术从上世纪60年代被提出来后,经过近半个世纪的发展,到目前为止已经非常成熟,随着计算机技术的不断提高,各种比例尺的数字化地图也都已经建立,并在过去的20年里,完成了
在全球减排压力之下,企业将面临产品市场、碳交易市场的双重影响。但是,以往的研究都将碳交易价格视为外生变量,并忽略了碳交易市场的影响。文章将碳交易价格波动作为核心问
作为建筑领域重要的低碳技术之一,地源热泵技术近些年在我国发展迅速。这与我国政府的政策扶持是密不可分的。文章回顾了国家对地源热泵推广的鼓励政策,包括法律法规标准、财
犯罪是一个古老的话题,是极其复杂的社会现象,它一直困扰着人类社会的发展进步。当前,我国已经进入构建社会主义和谐社会的新阶段,而构建社会主义和谐社会,无疑要求整个社会
改革开放三十余年来,我国城乡经济均取得了可喜的发展,人民生活水平有了很大提高,城镇社会保障体系已初步建立,但是由于受城乡二元体制和户籍制度的影响,生活在城乡之间,为城
自古希腊始,无论人处于怎样一个位置,关于人的问题的探讨都从未停止过。人经历了从被遮蔽的状态到颂扬普遍理性再到原子式的个人出场。不过,“现实的人”的出场并不是每个人