论文部分内容阅读
随着大数据时代的到来,数据存储规模日益扩大,存储能耗问题日益严重。2015年我国数据中心总量已经超过40万个,大多数数据中心的PUE仍大于2.2,存在能源利用率低的缺陷。数据中心超过40%的能源消耗在数据存储上,高能耗数据存储问题已经严重制约其发展。针对目前数据存储的高能耗问题,本文提出以低功耗的蓝光光盘作为存储介质,并对蓝光光盘库中文件管理进行了研究。本文从数据访问规律着手,将数据分为访问频率较高的热数据、偶尔访问的温数据和几乎不被访问但蕴含一定价值的冷数据。由于存储数据中高达80%是冷数据,故本文着重研究冷数据的节能存储问题。为了实现光盘库存储系统文件管理和存储,本文对蓝光光盘库存储系统文件存储和文件分类进行了研究和实现。首先,由于磁盘和光盘之间在数据传输速率上存在巨大差异,为了解决二者之间的数据传输问题,本文对光盘库存储系统文件存储进行了设计和实现。主要包括:(1)文件网络共享功能,用来解决磁盘与光盘之间的文件传输和共享;(2)文件自动刻录功能,解决文件从磁盘到光盘的存储。大数据环境下,由于文件刻录容量往往会超过光盘单盘容量,所以该部分在文件刻录之前会对文件进行分类;另外,由于文件存储到光盘之后会被删除,为了保证刻录数据的完整性,该部分还实现了文件校验功能。(3)光盘库文件系统,本文提出使用用户空间文件系统来管理光盘中的内容。在光盘离线情况下,用户空间文件系统会查询节点文件,检索该文件的盘号,然后通过Socket通信调取光盘,完成对离线光盘的访问。其次,本文设计和实现了基于文件热度的文件分类方法,该方法包括文件状态更新、文件迁移回迁、文件分类等模块。对于存储的数据,数据分类会为每一个文件建立热度状态,并根据热度状态对存储文件进行分类。最终,光盘库文件分类存储会将热数据、温数据和冷数据分别存储到固态硬盘、磁盘和光盘中。最后,本文对自动刻录软件、光盘文件管理系统和文件分类进行了多次实验,并对实验结果进行了分析。实验结果证明本文设计的光盘库文件存储和文件分类功能与预期结果一致,符合设计要求。在能源紧缺的今天,研究冷数据节能存储,发展大容量智能蓝光光盘库存储技术对我国绿色数据中心的建设起到积极意义。本文提及的光盘库分类存储、光盘刻录以及光盘库文件管理系统将有助于促进大容量蓝光光盘库存储项目的研究与发展。