数据并行系统中应用程序的爆炸式增长,以及对任务处理和数据分析的日益增长的高效需求,使得数据并行系统在处理具有高实时性需求的I/O密集型数据集时承受着较大的内存压力。低效的缓存策略会严重降低资源的利用率影响系统性能。通常情况下,对于需要大量内存计算的数据流任务,如何实现高效的缓存管理是权衡性能和内存开销的主要措施。近些年,设计出恰当的缓存管理策略以平衡工作负载,缓解传输瓶颈,减少内存资源消耗是内存计算中的研究重点之一。在缓存的设计和选择的问题上,研究证实当前主流的基于内存计算并行数据处理系统中包括LRU在内的默认的传统缓存算法并不能有效满足当前环境下应用特征和实时需求,且容易造成低命中率、不必要的I/O开销和资源浪费,主要归因于这些缓存算法多未充分利用数据并行系统中的数据依赖语义信息,而是依赖传统的基于数据项最近访问信息和频率信息等局部信息进行缓存管理。本文旨在设计一种新的缓存算法以达到性能与开销之间进行折衷的目的,该算法称为非关键路径最小引用计数(Non-critical Path Least Reference Count,简称NLC)。其与现有算法的不同之处在于:其一,NLC充分利用了数据并行系统所提供的数据依赖语义信息,将通过数据处理逻辑所提取出的DAG全局信息应用于缓存替换,而不是像大多数现有工作那样仅应用于资源调度。其二:NLC借鉴了Spark中窄、宽依赖的Pipeline作业思想,在保留引用计数(Reference Count)这一局部信息的基础之上可以进一步利用数据依赖语义所提供的动态变化的关键路径全局信息。本文开发了一套应用服务代码和流程代码低耦合的并行数据流调度器,通过对比多种基准测试图实例在受限资源下的执行效果综合评价表明,本文的系统能有效满足并行系统的要求。同时,与当前最先进的基于引用计数信息的缓存算法LRC和Spark等数据并行系统中的默认缓存算法LRU相比,非关键路径最小引用计数策略可以有效地提高命中率和并行执行效率,从而提高资源利用率。最优情况下可将任务响应时间减少19%左右。