Spark作为一款在分布式集群上执行大数据处理与分析的开源框架,凭借高速、通用性强、API友好等优势在业内得到了广泛的应用。但研究发现Spark在实际使用中仍然暴露出了一些问题。首先Spark具有复杂的参数配置,经验不足的用户可能难以对参数执行手动调优,Spark作业因此无法展现其最优性能表现。其次Spark SQL缓存实现也有待进一步优化:一是没有提供自动化缓存机制,无法有效地复用数据以减少重复计算;二是动态资源分配机制下executor的释放会导致缓存数据的丢失,多查询场景下可能引入重计算开销。为了进一步提升Spark性能,本文针对上述问题开展深入研究工作,主要有以下工作成果:（1）针对参数配置问题,提出了离线与在线相结合的参数智能调优方法。离线模块基于机器学习方法构建性能预测模型,在作业运行前使用启发式算法执行成本最小的最优参数搜索。在线模块使用一种轻量级、反馈式的实时调节方式,通过在Hadoop YARN中集成监视器与调节器实现作业的监控与参数运行时动态调优。本文基于离线与在线相结合的思想,设计了将两个模块融合使用,根据系统实际情况动态调整优化方案的参数智能调优方法。该方法既解决了“冷启动”问题,还增强了系统的监控与实时调优能力,具备较强的实际应用性。（2）为了优化Spark SQL缓存复用,提出了基于成本模型和马尔可夫链的缓存动态优化方法。本文首先设计了基于查询计划树的成本模型,将其应用于评估不同计划的执行成本,实现有价值数据集的自适应缓存。随后构建了用于预测查询闲置期持续时间变化趋势的马尔可夫链模型,用于指导决策executor释放的合理时机。基于两个模型,本文设计了 Spark SQL缓存动态优化方法,该方法在运行期间对缓存操作的实施以及executor的释放执行动态调优,优化缓存数据在一条查询内部以及多条查询之间的复用,多角度地提升查询性能。本文通过搭建集群,设计实验证明了所提方法在提升作业性能、缩短查询响应时间上具有良好的效果,具备较强的可行性与有效性。