伴随着日益增长的大数据相关的业务需求,大数据计算在科研领域及企业界都有着广泛的应用,例如数字图像处理、用户需求的预测等等,这些业务需求的实现通常都依赖于例如Hadoop、Spark这类大数据计算框架。这些框架不仅提供了更高效的计算性能,还提供了容错机制以保证高可靠性,以及拥有可扩展能力。除此之外,这些大数据计算框架简化了各种不同业务场景下应用开发人员的开发工作。例如,基于Spark核心代码,Spark提供了MLlib用于机器学习相关的应用程序的开发,以及GraphX用于图计算相关应用程序的开发。性能一直是大数据计算的重要指标之一,也是各类大数据计算框架不断在改进及完善的重要目标。本文提出了一套基于时间成本的对于Spark RDD存储策略的动态优化方案,其目标在于让用户不再过多关心Spark RDD存储策略的细节,减轻用户的负担。同时,也避免了由于用户对于系统硬件资源、应用程序的认知限制及对RDD持久化层级的错误设置导致的性能下降。在Spark中,数据的存储机制以RDD的持久化层级表示,本文提出的优化方案也旨在更有效地使用系统资源,提升应用程序的整体性能。本文提出的优化方案是一个离线的优化方案,一共分为两个阶段:数据采集阶段以及动态优化阶段。在数据采集作业中,主要搜集可以反映RDD特性的相关数据。因为这些数据是RDD相关的,也是系统硬件资源相关的,因此基于这些采集数据的优化是动态的。在数据采集阶段,会对采集到的数据进行预处理,处理结果将作为输入数据提供给动态优化阶段。在动态优化阶段,基于在数据采集阶段搜集到的数据,运行基于启发式算法的优化进程,优化RDD持久化层级。在优化过程中,基于RDD在不同持久化层级下的运行时间、内存使用特性,整个优化进程模拟应用程序的运行,评估整个应用程序的运行时间,不断优化RDD的存储策略。本文通过实验证明了对于RDD存储方案优化的必要性及有效性。