Spark是基于内存的分布式数据处理框架,具备海量数据处理的能力,已成为大数据领域研究的热点。在Spark中的Map和Reduce阶段存在Shuffle过程,将Map的输出结果传输到Reduce端。由于Shuffle过程中的性能严重依赖于数据分布,当存在数据倾斜问题时,现有Hash分区算法无法保证Reduce阶段节点负载平衡,从而影响作业的执行时间。论文研究了Spark计算框架内RDD分区策略和Shuffle机制,对比当前该领域最新技术,提出基于Key分布的动态重分区策略和基于代价模型的分片策略,缓解了Reduce端因数据分布失衡而造成的慢任务压力,进而提升Spark集群任务中作业处理效率。具体完成了以下工作:1.针对Spark Shuffle过程中由于数据分布不均、集中出现很多相同Key数据时,会导致某个Key所在Task的数据量过大造成数据倾斜的问题。设计了动态采样方法,在任务执行过程中利用直方图先统计各节点上的Key频次分布情况,收集后生成全局的Key频次分布直方图,据此提出了基于Key分布的动态重分区策略(DR)。最后通过实验将DR算法与Spark默认的Hash分区策略、Fine Partitioning算法和Balanced-Schedule算法进行比较,结果表明本策略能够减少计算任务的整体执行时间,从而提升Spark集群执行效率。2.在DR算法的基础上进一步做出优化与改进,提出基于代价模型的大分区分片机制(OFCM)。利用cluster(簇)的大小和计算复杂度两个方面对RDD分区中的计算权重进行评估,再将大分区等分为多个小片段,必要时增加额外的分片复制操作。并且建立代价模型来平衡复制带来的开销和数据平衡程度。实验通过改变影响因子对比了OFCM与DR算法,结果表明在大数据严重倾斜的应用场景,使用OFCM算法可以有效地缓解集群计算压力,从而解决数据倾斜问题。研究工作表明,Spark计算框架下Shuffle过程中的数据倾斜问题是客观存在的,但可以通过检测发现倾斜Key和采用合理高效的重分区策略加以改善。论文提出的动态分区策略及基于代价模型的分片策略可以有效解决数据倾斜带来的作业执行延迟的问题,显著地提升集群任务执行效率,具有重要的理论参考价值和实用意义。