随着社会的快速发展及进步,人们的生活方式也由大数据时代的到来发生了巨大的变化,不但衍生出许多的新型行业,也使大数据技术渗透到各行各业中,这不仅促进了社会的高效发展也为人们的生活带来了便捷,但与此同时所产生的海量数据如何进行快速的处理也是不可忽视的问题。据英特尔公司预测,全球数据总量在2020年将达到44ZB,而中国产生的数据量将达到8ZB,大约占据全球总数据量的五分之一。所以现今需要处理的数据越来越多,迫切需要我们对海量的数据做出快速且有效的处理,而Spark作为快速的计算引擎已成为主流的大数据处理平台。Spark的高效一方面依赖于内存计算本质,另一方面与分区带来的并行度有密切关系,但是在数据重复率较大的情况下,使用Spark默认哈希分区算法处理数据时,将导致每个分区中的数据量不均匀,并且在极端情况下,某些分区拥有RDD的全部数据,所以分区的倾斜会导致大数据集群系统资源分布不均匀、作业执行效率低下等问题。本文的主要研究内容和工作集中在以下几个方面:(1)设计并实现了优化哈希分区的三种哈希分区器,分别为随机数分区、随机数+二次分配、相邻位置三种分区方式,通过实验验证在对不做任何内容要求的普通文本文件输入数据进行分区分配后,作业执行效率与默认HashPartition方式相比明显提高了。(2)通过不同数据倾斜度比较,三种优化分区器解决了默认哈希分区器对于key重复量大时的分区倾斜问题,并且优化过的分区器能使倾斜的数据较均衡的分配到各个分区中,从而提升了计算效率。研究结果表明,三种优化的分区器对数据倾斜问题提出了优化的解决方案,也提高了系统的运行效率,对于Spark分区中数据放置方案的改进具有重要的启发意义。