频繁项集挖掘用来发现数据项集中的频繁模式,在商品关联分析和超市促销策略决策中有着广泛的应用。但是,传统的频繁项集挖掘算法的时间复杂度较高,因此许多国内外的学者们致力于提高相关算法的性能。随着大数据时代的到来,传统的频繁项集挖掘算法往往受限于单台计算机有限的计算能力和存储容量,无法满足用户对于处理更大规模的频繁项集挖掘问题的迫切需求。随着大数据技术的发展,基于Hadoop平台的频繁项集挖掘算法在时间效率上相比于单机算法有了很大的提高。最新的内存计算框架Spark相比于Hadoop平台具有并行计算,Spark已成为目前工业界搭建分布式计算平台的主流框架。因此,本文将Spark框架和频繁项集挖掘算法相结合,研究在Spark平台下实现并行频繁项集挖掘算法,以提高频繁项集挖掘算法的时间效率。本文的主要工作包含如下几个方面。(1)学习研究了经典的频繁项集挖掘算法,包括Apriori算法,DHP算法,FP-Growth算法。(2)针对Apriori算法由K频繁项集生成K+1频繁项集的过程中,需要多次重复检测项集中的二项子集是否频繁的问题,提出了一种基于二维表的Apriori改进算法,用一个二维表记录二项子集是否频繁,从而减少了判断二项子集是否频繁需要多次扫描事务数据库的时间。实验结果表明,本文所提出的改进Apriori算法比原Apriori算法相比,可以明显减少算法的运行时间。(3)学习研究了Spark框架的相关技术,基于Linux操作系统,运用Java结合Scala开发语言,搭建了基于Spark平台的分布式开发环境,用于实现所提出的并行频繁项集挖掘算法。(4)针对DHP在第一次统计桶中项集数目时,会生成许多重复的候选项集,提出了基于Spark单节点的压缩DHP算法,该算法用形象地数字形式代替重复的项集数,并且在第一次扫描事务数据库时就实施,通过实际的试验证明,提出的这个压缩改进算法在时间复杂度上明显比没有采用压缩DHP的单节点DHP算法要低。(5)针对单节点只有一个计算单元的不足,研究了基于集群的Spark分布式计算框架。利用Spark多节点集群分布式结构实现了分布式DHP算法和分布式FP-Growth算法,充分利用了集群的优势。在模拟数据和UCI数据集Pumsb star上的实验结果表明,基于集群的并行策略比基于单节点的并行环境具有更好的时间效率。