论文部分内容阅读
随着大数据时代的来临,科学研究、工业应用和网络服务等领域的数据规模正爆炸式增长。当前,超级计算机在科学研究和国民经济建设中发挥着非常重要的作用,应用领域十分广泛,具体包括石油勘探数据处理、生物医药研究、航空航天装备研制、卫星遥感数据处理、金融数据分析、气象预报和气候预测、海洋环境数值模拟、土木工程设计、新材料研发、基础科学研究等。然而,随着数据规模不断扩大,超级计算机在处理大数据应用时仍暴露出一些突出的问题。超级计算机多采用集中共享式存储系统(如Lustre文件系统等),计算节点通过内部高速互连网络与存储系统相连。通常,每个Lustre系统的容量为1-4PB,实际运行情况表明:当Lustre文件系统容量使用率大于70%时,存储系统会出现不稳定现象,使得超级计算机系统的稳定性和可用性降低。现在,多个典型的大数据应用均对超级计算中心的大数据存储提出了越来越高的要求,如要求总的存储容量达到10PB甚至以上,能与超级计算机的Lustre系统有机融合,等。所以,我们需要研究一种新的存储结构,构建基于超级计算机的层次式存储系统,有效解决10PB到100PB级海量数据存储的重大技术挑战,为越来越多的大数据应用提供存储和处理服务。本文提出了一种基于双副本和RAID-Z的海量近线存储系统(TH-MSS)的技术方案,TH-MSS与超级计算机的Lustre存储系统相结合,可实现超级计算机的层次式海量存储系统,用以解决大数据应用对海量数据存储的新要求。本文的主要研究工作包括以下几个方面:(1)分析超级计算机的存储系统结构,研究利用分级存储构建超级计算机层次式存储系统的技术方法。(2)分析基于超级计算机的大数据应用对海量存储系统的需求,提出一种基于双副本和RAID-Z的海量近线存储系统的技术方案,研究数据迁移管理的相关技术方法。(3)设计实现了TH-MSS存储策略优化和资源管理优化方案,研究利用MPI实现多节点并行数据传输的技术方法,分析了相关的关键技术。(4)利用存储服务器构建实验平台,进行实验验证。