分布式内存计算平台Spark是海量数据处理领域的最新技术进展。RDD是Spark中海量数据的抽象表达。交互式应用是Spark平台的一类典型应用,具有较强的请求到达不确定性。交互式Spark应用运行中采用动态资源分配管理,即依据交互式请求到达的强度,动态增减应用占用的计算资源,以提升平台资源利用率。然而,既有动态资源分配机制无法保存被关闭任务执行器中的缓存RDD数据。在RDD数据复用时将造成重计算开销,从而影响作业的执行效率。针对上述问题,本文提出面向交互式Spark应用的RDD数据动态放置策略。该策略的核心思想是,将缓存RDD动态迁移至未关闭的任务执行器存储空间中,提高交互式Spark应用的执行效率和平台的内存利用率。本文的主要贡献如下:1)提出了面向交互式Spark应用的缓存RDD数据动态放置策略。该策略首先以RDD数据分区为粒度,选取RDD数据缓存完整度、重计算开销、访问频度、迁移开销为主要因素,量化定义缓存RDD数据分区的放置收益。其次,以放置收益最大化和关闭CPU资源最大化为目标,利用粒子群算法,优化选取缓存RDD数据分区放置方案,从而实现对高价值RDD分区的缓存和对任务执行器内存空间的充分利用。2)提出了基于马尔可夫模型的交互式应用非活跃期预测算法。针对非活跃期长短不一,数据放置存在“抖动”,降低数据放置有效性的问题,本文依据历史非活跃期持续时间,利用马尔可夫模型,设计了交互式Spark应用的非活跃期时长的变化趋势预测算法。在该预测的基础上,结合历史数据放置的时间成本,决策后续非活跃期的数据放置触发时机。3)综合本文的研究成果完成基于RDD数据动态放置的Spark系统原型实现。在Standalone的部署模式下,利用TPC-H on Hive的基准测试查询在交互式Spark SQL环境下对本文提出的方法进行了较为充分的性能测试和分析。性能测试结果表明,与Spark既有动态资源分配比较,增加RDD数据动态放置方法可使交互式查询的请求响应时间最大缩短97.58%,平均缩短42.61%。