随着互联网技术的发展,互联网产品日益丰富,用户对互联产品的使用不断增加,所产生的海量数据给行业带来了巨大的机遇与挑战。一方面,通过分布式计算技术和数据挖掘算法可以从数据中提取有用的信息。另一方面,由于数据规模浩大、结构复杂,处理数据时经常面临一些严峻的问题。其中分片倾斜就是分布式大数据计算中一种常见的性能瓶颈。作为一种广泛应用的分布式大数据计算引擎,Spark在运行计算任务时,也饱受分片倾斜的困扰。分片倾斜问题,通常表现为Spark分片负载不均衡,一些任务处理的数据量远大于其他任务,这不仅会浪费系统资源、降低计算效率,甚至可能还会导致任务执行失败。因此,为了保证Spark作业的高效顺利的执行,中间数据分片算法的研究十分重要。现存的Spark分片算法并不全面,它们没有考虑Map端聚合对数据变化的影响,也没有关注在Shuffle操作执行后分区中的数据量的变化。为了解决Spark计算框架下分片负载不均的问题,本文提出了一个中间数据分片方法SKRSP(Spark-based key reassigning and splitting partition algorithm)。它包含两个部分:中间数据键分布预测、分片策略生成与应用。其中,中间数据键分布预测用于估计键的频率,它首先在选取的RDD(Resilient Distributed Dataset)分片数据上执行一个基于步长的采样算法,然后结合Map端聚合的影响来估计中间数据的键频率分布。基于此,提出了一种分片划分标准,即考虑Shuffle操作前后的分片平衡,并基于此标准设定键权重为中间数据键频率、Shuffle后键频率之和,然后再基于此权重计算分片策略。分片策略分为两种:一种是针对于排序应用的基于范围的键分割方法,其按键的顺序将所有键划分为等量的区间,位于区间边界上的键将被分割到相邻区间;另一种是针对非排序应用的基于哈希的键分配方法,其先预测可能发生倾斜的哈希分区,然后将该倾斜哈希分区的超出均值的一部分键分配到其他分区,而剩余的一部分保留到原哈希分区。最后,将分片策略应用到Shuffle阶段的具体分片过程中,以此达到分片负载均衡的目的。最后,本研究在Spark 2.2.0源码中添加了SKRSP分片方法并生成部署包,然后在实际的Spark集群上进行了实验,验证了中间数据键分布预测算法的精确性和有效性,以及基于键分布的分片策略的生成和应用确实可以降低Spark分区的倾斜程度和Reduce阶段任务的运行时间,从而降低了整体任务的运行时间。