超级计算机用于自然科学的很多关键领域中进行复杂系统的大规模计算和模拟。随着芯片技术的高速发展,到2020年超级计算机的性能将会达到EFlop/s(每秒百亿亿次浮点运算)。爆发性增长的计算能力同时也导致了科学计算模拟输出的数据规模激增,从而引发了对大型存储系统的高性能I/O需求。例如,在美国超算中心的系统上使用12万个核模拟计算3万亿个粒子的磁重联物理过程,每小时就会产生约100TB的数据。存储和检索如此大规模的突发性产生的数据会极大地影响这些科学应用的整体性能。当前集中式存储的I/O系统也难以提供足够的性能去充分满足极端规模的科学计算平台要求。为此,近年来学术界提出了突发数据缓存(Burst Buffer)结构:它在计算和存储节点之间添加了新型硬件如非易失性存储器作为缓冲层,支持对于大量突发性的I/O请求进行快速处理。但是针对突发数据缓存的设计仍面临许多问题,需要高效的系统软件与该新的存储架构相结合,来满足支持百亿亿次计算的科学应用所要求的极端并行性和性能需求。本文的工作旨在研究数据密集型科学应用在突发数据缓存系统中的I/O性能优化方法。通过分析应用的数据访问特征和存储需求动态调度分配缓存资源以减少应用之间的相互影响。通过异步数据传输实现跨存储层次之间的数据移动优化,从而提高应用的整体性能和存储系统的效率。本文的研究工作和成果主要包括以下三个方面:1.针对共享式突发数据缓存系统上的资源调度展开了研究。通过分析现有针对缓存节点的调度分配策略,发现多应用在共享访问缓存系统时会引发带宽竞争现象导致了应用的I/O性能下降。为了解决突发数据缓存节点的负载不均衡及应用性能瓶颈问题,本文提出了一种基于竞争感知的存储资源分配算法。通过在运行时中实现对应用的数据读写特征和资源需求的实时分析并根据缓存系统中的节点负载分布,该算法会动态分配合理的缓存节点来协调来自大量进程的高度并发I/O访问以最大化每个应用可获得的I/0带宽,降低进程之间的带宽竞争并平衡节点之间的I/O负载。为了进一步研究节点内带宽竞争的产生机制,本文提出了面向多进程并发I/O访问场景的性能模型和三种衡量指标以定量评估不同的调度策略分别对应用和缓存系统产生的性能影响。实验结果表明,相对现有的静态资源调度策略,所提出的竞争感知分配算法可以使应用的平均效率提高25%和突发数据缓存系统的带宽利用率提高20%。2.针对分布式突发数据缓存系统上的数据传输问题展开了研究。计算节点内独立的非易失性存储虽然能提供本地的高I/O带宽以快速处理应用的大量突发性I/O读写请求,但是计算结束后本地数据回传到外部存储系统的时间开销严重地影响应用的总体性能。为了解决这一问题,本文提出了一种自适应可扩展的异步数据传输优化策略。该策略通过在运行时中利用少量的计算核异步地在计算节点中统一地调度处理来自不同进程发出的I/O请求而不影响程序继续其计算,有效地将应用的计算阶段和I/O阶段交替并行地执行以达到隐藏数据传输延迟的目的。在所有计算阶段结束后,通过调用更多的空闲计算核对缓存在本地存储中的数据回传过程实现I/O并行传输优化,进一步降低数据传输的开销。实验结果显示,与默认的同步I/O模式对比,所提出的异步传输优化策略能使科学应用的数据传输时间减少30%。3.针对异构突发数据缓存系统中的数据调度问题展开了研究。由于异构缓存系统中存储介质的多样性,存储层次之间对于应用的I/O访问特征有着不同的性能表现,增加了数据移动的复杂性。本文提出了一种结构感知的动态I/O调度方案,通过运行时透明地在异构缓存系统中不同存储层之间自动地调度数据,加速科学应用的端到端I/O访问过程。本文提出了流量感知的调度优化方法,通过对在计算节点内的进程发出的I/O请求进行动态分流,以降低大量突发性写操作对节点本地缓存带来的带宽压力。针对跨存储层的数据移动问题,本文提出了干扰感知的I/O调度算法,通过将缓存数据动态映射到不同的存储目标以最大化所有存储层的利用率并减少共享缓冲层中应用之间的I/O干扰。实验结果表明,所提出的调度方法能使应用共享访问异构缓存系统时的I/O干扰降低一倍,程序总体性能获得了54%的提升。本文设计的一系列针对突发数据缓存系统的I/O性能优化技术方法解决了数据密集型科学应用在大规模超算系统上并发存储和访问数据所面临的一系列挑战。本文提出的缓存资源分配算法、异步数据传输优化策略和动态I/O调度方案可以作为一般方法论推广应用于其他存储结构。同时,对下一代E级超级计算机的存储系统的改进和软件生态建设也具有参考价值。