数据密集型程序有着广泛的应用，已经成为高性能计算中最重要的应用程序之一。这种程序运行时需要频繁访问磁盘上的数据文件，或者要求的主存容量远大于本地主存，导致频繁访问交换区。传统的虚拟存储系统使用磁盘作为后备存储，尽管磁盘具有传输速率高、存储容量大等优点，但是，磁盘的寻道时间比主存要慢几个数量级，从而限制了这些应用程序的执行速度。 本文研究使用空闲的网络主存构造虚拟二级存储设备，提出了预测预取框架PNMS(Prediction-based Network Memory System)。它充分利用了CPU速度的提高、网络延迟的改善和主存容量的不断增加，支持异构节点和各种操作系统。 提出利用内核间直接通信来提高通信性能，实现了一种可靠高效的内核级消息传输协议。它同已有的协议共存，共享底层通信通道。通信双方都在内核中执行，降低了上下文开销和系统调用时间。 提出一种基于外部二级设备的数据备份策略，把server分组，每组增加一个节点，利用磁盘备份本组server中存放的client使用的数据，这就可以避免某个server偶尔失效导致数据丢失，增强了系统的可靠性。 对页面预测算法性能进行了研究，在传统PPM(通过部分匹配进行预测)算法的基础上，通过观察页失效序列，有效结合串行、等跨度等典型程序行为，提出贪婪Markov算法，并讨论了控制预测质量的算法策略和机制。通过把预测算法和应用程序分布到不同的节点，使用网络中的空闲工作站辅助预取，把即将访问的页面读入目标节点，从而进一步减少CPU等待时间。通常情况下，由于预测算法和应用程序在同一节点，因而产生高质量预测的开销很高，使用预取带来的性能提高变得微不足道，但是在我们的框架中，由于在不同的工作站上执行预取，故可以使用复杂度较高的算法，而不会产生负面作用。 PPM模型的级数越高，预测性能就越强，但是模型越复杂，状态空间越大，运行时间也越长。论文中提出了一种利用规则访问压缩多级PPM模型空间的方法。通过把连续访问压缩到一个超级节点中，既可以达到削减状态复杂度的目的，又不会降低模型的国防科学技术大学研究生院学位论文预测性能，还有助于预测精度的提高。 在规模比较大的系统中，完全信息收集会导致过多的CPU和网络开销，考虑到网络系统中负载信息的非精确性和不完整性，我们提出了集中式最小k子集随机算法来选择空闲节点，并实现了信息Cache机制。采用多个收集节点可以满足系统扩展性要求和容错要求。通过替换算法，保证Cache中的信息为系统中负载最小的k个节点的信息，还给出了一种Server优先的主存数量公布算法。 通过对网络主存的server端进行抽象，设计了逻辑memo卿server，它完全屏蔽了chent和server之间体系结构的差异，使用高效的算法和数据结构，保证检索数据的时间是常数。 在Linux系统下设计实现了一个基于网络主存的可靠高效的虚拟存储设备，并对Linux系统内核进行少量修改支持预取。测试结果表明，系统运行稳定，无论是计算密集型还是数据密集型应用程序，都可以显著提高程序执行效率，并且具有很强的灵活性。 本文的基本结论是，在快速网络的支持下，利用空闲主存构造虚拟二级存储设备不仅是可能的，而且是可行的、可靠的，与具有同等(甚至更高)带宽的磁盘相比，它可以显著提高卫O性能。关键词:网络主存，部分匹配预测，Markov，存储层次，工作站集群，空闲资源，可靠性，内核级通信