典型的并行程序都要进行数据量非常大的I/O访问,但是这些I/O访问序列很多是由大量的小块数据的I/O访问组成。这样,虽然并行文件系统在大块数据传输上能够达到很大的I/O带宽,但是由于并行程序传递给并行文件系统层次的调用是频繁的I/O启动操作和小块数据的I/O数据传输操作,这样使得在实际中并行程序能够用到的I/O带宽远远低于并行文件系统所能提供的最大带宽。 一个重要的解决方法是在从上层到下层传递I/O请求时尽量的保持住应用程序的I/O访问模式的信息,并且在I/O操作时尽量利用这些信息。常见的实现方式是在并行文件系统上层再加入一个可以获取并行程序数据访问模式的层次—并行I/O库。I/O库获得并行应用程序的独立I/O的数据访问分布,以及程序总体I/O行为的信息,利用这些信息把很多个小数据块的I/O请求转化为对并行文件系统的少量的大数据块的实际I/O操作,从而可以最大程度的利用并行I/O文件系统所提供的带宽,但是也将带来更多的I/O开销。 如果底层并行文件系统能直接提供对于这些小块数据访问的高性能接口和实现,可以直接高效地读写小块数据,那么即简化了并行I/O库的实现,又将提高并行I/O的性能。 本文首先详细地描述了Lustre文件系统的I/O结构及其实现,在研究基于Lustre文件系统的并行、I/O技术的基础上,实现了细粒度的“Direct I/O”读写方式及接口,并在MPI-IO中实现了基于这些接口的并行I/O方式。 本文还对改进后的Lustre文件系统的并行I/O模式的性能进行了读写带宽测试。评测结果表明基于新的I/O接口的I/O模式将大大地提高并行I/O性能,特别是访问结构化数据集合的时候。