随着高性能计算、大数据与人工智能的不断融合,高性能计算社区亟需同时支持这三种场景的计算系统来加速科学发现。然而,爆炸性增长的科学数据以及不同场景下应用截然不同的I/O特征促使融合应用呈现前所未有的复杂性。与此同时,不断加深的存储层次和多样化的数据定位需求进一步增加数据管理难度,导致高性能计算系统面临严峻的数据存储与管理挑战。为了在高性能计算系统上有效支持融合应用,本文结合层次式存储结构和应用特征,研究融合应用场景下数据管理的关键问题,优化高性能计算系统的数据管理能力并提升应用I/O性能。本文的主要工作包括:1.针对高性能计算系统存储层次不断加深的趋势,本文设计基于层次式存储结构的数据管理系统,统一管理内存、固态硬盘等多个存储层次,为融合应用提供高效数据缓存空间。为充分发挥不同存储层次的性能和容量等特点,该层次式数据管理系统结合应用数据访问模式定制数据管理策略,协调数据在各个存储层次的分布方式。此外,针对存储层次加深引起的数据局部性变化,本文设计数据感知的任务调度机制,配合资源管理系统尽可能将任务调度到拥有数据的计算资源。相比于底层并行文件系统,该层次式数据管理系统能够为应用带来54%的性能提升。2.针对单一数据管理策略无法充分发挥层次存储结构性能优势的问题,本文以科学工作流应用为代表,提出面向融合应用的自适应数据管理技术。本文将层次式存储结构下的数据放置问题抽象为分类问题,提出基于分类模型的智能数据放置策略:该策略以最小化科学工作流应用的总I/O时间为目标,挖掘不同应用特征和系统实时状态下数据放置策略对应用总I/O时间的影响,并训练分类模型智能做出数据放置决策。数据预取问题方面,本文分析科学工作流应用的数据流图拓扑结构和数据访问特征之间的关系,提出针对文件类别的自适应数据预取策略:通过结合局部性预取策略和智能预取策略的各自优势,提升复杂数据访问模式识别能力。相比于固定数据放置策略,本文提出的自适应数据放置策略能够实现34%的I/O性能提升;相比于传统局部性预取策略,本文提出的自适应预取策略识别复杂数据访问模式的能力显著提升,并能够降低54.2%的数据读取时间。3.针对并行文件系统管理海量科学数据时面临的数据定位挑战,本文提出耦合文件系统的索引与查询优化。文件粒度数据定位问题方面,本文设计并发元数据提取机制,快速提取文件系统中已有文件的“应用定制元数据”信息,通过定制的层次式哈希索引结构,高效满足文件粒度定位需求。记录粒度数据定位问题方面,本文采取原位索引构建机制,允许数据在写入文件系统的同时构建索引信息;为了权衡索引粒度与索引构建开销,本文提出轻量级Range-bitmap索引结构;结合本文设计的并行查询处理机制,记录粒度数据定位需求能够被快速响应。对生物和气象等数据集的测试表明,本文设计的文件粒度索引查询方案能够在毫秒内从包含数百万个文件的目录中定位目标文件;本文设计的记录粒度索引查询方案相比于遍历整个数据集定位内部数据的方式实现2个数量级的查询速度提升。