论文部分内容阅读
以数据为中心的计算模式对存储系统的性能和可靠性提出了新的更高的要求。目前,PB量级的存储系统需要由成千上万的多种存储设备构成,高并行性、高可靠性和高性价比是海量存储系统的三项关键要求。本文在对象存储的基础上,融合了在线存储和近线存储的思想,提出了由固态盘、高性能磁盘阵列和虚拟磁带库作为本地、近线和在线存储组成分级海量存储系统,通过数据的自学习迁移,可保证存储系统在高性价比的条件下,获得更高的并行访问速率和可靠性。本文采用基于分级存储管理的思想,提出了基于对象存储的分级存储模型,其中具体提出了OBV对象价值评定模型、自学习对象预取策略和对象迁移过程控制策略。首先通过实现了基于OBV模型的对象迁移策略验证了对对象价值的精确判定;通过实现基于OBV并结合对象预取的迁移策略证明了本文提出的基于对象自学习预取策略可有效提高存储系统的访问性能,验证了基于对象自学习预取策略较强的自学习能力;通过将迁移过程控制策略与以上两种迁移策略集成在一起,验证了通过结合迁移过程控制策略可以在尽量减小对系统影响的情况下进一步提高访问高性能设备的命中率,提高系统的访问性能。本文的研究内容主要包括以下几个方面:(1)研究了分级存储策略的现状,详细对比分析了固态盘、磁盘阵列、虚拟磁带库VTL等存储设备当前的性能、可靠性等因素。(2)研究了存储结构的演变过程,重点研究了当前的热门存储结构——基于对象存储的结构和特点。(3)以Lustre文件系统为基础提出了利用SSD、高性能磁盘阵列和虚拟磁带库作为本地、在线和近线存储的基于对象的多级存储系统结构,它通过将各种属性和活跃度不同的对象迁移到不同性能级别的存储设备来提高整个存储系统的访问性能。(4)提出了OBV对象价值评定模型,实现了对对象价值的精确评定,在此基础上实现低价值的对象由在线存储的高性能磁盘阵列级向低性能大容量虚拟磁带库级迁移和虚拟磁带库级中高价值高活跃度的对象向高性能设备级中的迁移。(5)提出了通过将历史访问信息分时间片并分配一定的权重比例的基于概率统计的自学习预取策略,改进并实现了根据访问模式、用户、历史信息的HUM自学习预取算法,将以上算法与文件内的预取算法综合之后得到我们最终的综合自学习预取策略,可以精确地将低性能设备级中即将被访问的对象提前预取到高性能级别设备中。(6)建立了数据迁移过程控制策略的原型,内容包括迁移时机的选择;迁移过程中利用信息反馈控制机制实现对数据传输速率的调整设定,以尽量减少迁移对系统正常的访问性能的影响;迁移过程中根据及时反馈系统访问对象的变化更新迁移对象的价值信息,实时调整数据价值迁移队列;根据反馈的访问对象尽快调整预取队列中的对象,以实现将最需要迁移的对象尽快迁移。