论文部分内容阅读
随着互联网在生活中的广泛应用,网络中的数据量呈指数级增长,IT行业已经从计算时代进入到存储时代。目前,许多数据中心都面临着系统能耗开销巨大、存储资源利用率较低以及存储成本不断上升等问题。有数据表明,存储的各种开支已经占数据中心总成本的30%-70%。而日常产生的数据中,经常使用的数据(热数据)只占到整体数据量的20%而极少使用或几乎不用的数据(冷数据)高达80%。在这种情况下,根据数据冷热特征进行分级存储,发挥各种存储设备优点,降低总存储成本,有十分广阔的研究和应用前景。对比目前存储介质技术的发展,光盘的单位容量价格远远低于磁盘,而其读写速度又优于磁带。因此,将光盘作为分级存储系统中的近线或离线存储设备具有现实意义。本文在分布式文件系统基础上,引入蓝光光盘库作为近线存储设备,建立一个“在线——近线”分级存储的云存储平台。在平台设计和实现的过程中主要工作包括如下内容:(1)对当前的数据区分技术进行研究与分析,在此基础上,通过对用户行为日志的分析,提取用户行为关键特征,建立数据价值模型。该模型采用指数平滑法充分考虑各个时刻的数据价值,并根据数据价值的高低区分冷热数据集,该模型能有效地提高云平台中用户访问数据时命中在线存储设备的概率。(2)研究数据迁移过程控制策略,实现数据在磁盘阵列和蓝光存储两种不同存储层次的设备之前自动的、不间断的迁移。重点分析基于蓝光光盘库的数据迁移过程,有效地保证数据在迁移过程中的一致性。(3)采用元数据服务器与应用服务器分离,前台页面与后台服务分离的分模块方式,实现平台各个功能,充分体现低耦合的软件设计思想。并且进行一系列测试,测试结果表明平台实现的数据迁移具有有效性和准确性,能够实现数据在蓝光光盘库与磁盘之间高效传输,保证数据的一致性,释放磁盘空间,并提高数据访问的速度。