随着互联网的高速发展,每天都会产生海量数据。如何快速且准确的从海量数据中提取高价值的信息,成为当前的研究热点,大数据处理技术便随之产生。现如今,应用最广泛的大数据处理框架有Hadoop和Spark,Hadoop最先诞生,其使用MapReduce计算框架结合磁盘完成任务处理。Spark通过对数据集进行抽象处理提出了 RDD数据模型,并引入基于内存的计算模式,从而大大的减少了数据传输的时间并提高了作业运行效率。本文基于Spark计算平台,研究了其进行分布式计算时内存管理和作业调度策略,首先通过对内存管理进行建模和分析,发现现有的内存管理中的缓存替换算法存在缺陷,并提出进行改进方案,使得有限的内存可以得到充分的利用。然后对Spark Standalone中默认的作业调度策略进行形式化分析,提出了新的作业调度策略,该策略提高了作业的运行效率。下面将详细介绍本文的主要研究工作:(1)提出一种基于RDD分区权重的缓存替换算法。目前,Spark采用的缓存替换算法LRU存在缺陷,即会使高重用但最近未使用的Block容易被换出缓存。针对上述问题,现有的研究工作提出了以权重大小为替换依据的缓存替换算法。但这些基于权重的缓存替换算法存在权重值计算不准确、考虑因素不全面、度量方法不够细致等问题,影响了缓存的命中率和作业执行的效率。因此本文提出了一种新的RDD分区权重缓存替换算法——WCSRP。为了使RDD分区权重值的计算更加准确,WCSRP不仅综合考虑RDD的计算代价、使用次数、分区的大小和生命周期四大因素对权重的影响,而且还增加考虑了 Task执行时的Locality Level,并对以上五个因素进行了量化计算。(2)提出基于作业分类自适应作业调度策略。Spark作为一个基于内存计算的可扩展的开源集群计算框架,其作业的调度策略和资源的利用率直接影响着集群计算处理的效率。目前,Spark中使用的作业调度策略并未考虑到集群中各节点的计算能力存在差异,在进行工作节点分配时,仅通过空余核数进行排序。因此,本文提出了一种新的作业调度策略。该策略分为两个方面,首先是通过预运行对作业进行分类,将作业分为CPU密集型和内存密集型;其次是通过实时监测节点的资源利用情况,根据监测所得数据计算每个工作节点的计算能力值,将计算能力值靠前的工作节点优先分配给待运行作业。