论文部分内容阅读
高性能计算已跨越PetaFlops时代向ExaFlops时代飞速发展,对海量存储系统的I/O性能、可扩展性、可靠性和易管理性提出了严峻挑战。现有的数据存储方式与数据管理方式已远不能满足信息时代发展的需要,传统的存储介质与存储体系结构已成为大规模并行计算机系统获得高效能的重要瓶颈。迫切需要研究应用新型存储介质克服传统存储介质存在的缺陷,突破基于新型存储介质的混合存储技术,研究新的存储体系结构和数据管理方法,提高存储系统性能和数据管理的效率。本文针对高性能计算的I/O需求,在深入研究新型非易失性存储(Non-Volatile Memory)[1]介质相变存储器(Phase Change Memory,PCM)[2]的基础上,设计了基于相变存储器PCM的层次式并行混合存储系统;在深入研究基于对象存储系统管理技术的基础上,针对目前主流元数据管理算法存在的缺陷,设计实现了基于目录编码的元数据管理算法。本文的研究工作主要包括以下几个方面:(1)研究分析了新时代高性能计算飞速发展背景下传统存储介质遭遇的困境,以及存储介质多元化发展趋势。在对目前众多新型非易失存储介质进行研究分析的基础上,选用具有非易失性、高性能、高密度以及高可靠性的相变存储器PCM作为重点研究应用对象,对相变存储器PCM的技术特性及国内外相关应用研究工作进行了深入研究与分析。(2)研究了基于对象的存储系统(Object-Based Storage,OBS)[3]管理技术。对目前主流的元数据管理算法—目录子树分区算法[4]与散列算法[5],以及诸多改进算法进行了深入的研究与分析,分析了目前元数据管理算法存在的缺陷,提出了针对这些缺陷的改进思路。(3)提出了一种基于相变存储器PCM的层次式并行混合存储系统结构,在传统存储层次上增加一层基于PCM新型存储设备的高速存储层次,构建高性价比的分布式并行存储系统。我们利用对象存储结点OSD本身具有的计算和处理能力,实现对象一级的存储管理策略。自动分析I/O访问特征,预测其后续操作,主动把可能需要的对象预取到PCM高速存储层次。我们借助基于序列特征挖掘技术的I/O特征预测算法,设计了并行混合存储系统自治预取和对象迁移机制,通过模拟实验验证了并行混合存储结构及自治预取机制的有效性。(4)设计实现了基于目录编码的元数据管理算法。基于对目前主流元数据管理算法缺陷的深入研究与分析,本文设计实现了基于目录编码的元数据管理算法。并与目录子树分区算法和散列算法相对比,进行了模拟实验,验证了设计实现的基于目录编码的元数据管理算法在目录相关操作性能以及元数据分布均衡性方面的综合优势,提高了存储系统元数据管理的性能以及负载均衡性。