随着信息技术和互联网的迅猛发展,各个行业每天所产生的数据量呈爆炸式增长,寻求有效的大数据处理技术已经成为大数据时代背景下人们的迫切需求。Spark是近几年在大数据背景下兴起的一种基于内存的并行计算框架,它的特点是适合运行一些复杂度较高的迭代和非交互式的算法。本文利用了该特点,在主题模型LDA的并行化研究中做了如下3点工作：本文实现了一种使用Gibbs采样在Spark框架下进行LDA模型推导的方法。在算法中,我们采用了一种无冲突的数据分割方法将数据集分成了P*P个数据块,之后将这些分割好的数据块重新排序并将它们整合成P个子集,同时保证每个子集中均包含P个数据块,这样就可以对每个子集进行并行采样。虽然这种方法增加了采样过程中的迭代次数,但是该方法克服了传统并行方法中需要进行大量数据交换的瓶颈,很好的利用了Spark适合迭代式计算的特点。本文使用了在该领域广泛使用的经典数据集,从困惑度、收敛速度和加速比三个方面对算法做了相关的对比实验。实验结果表明,该算法保证了精度,并且在大数据环境下取得了良好的加速效果。本文还介绍了由实验室开发的并行数据挖掘工具BC-PDM,该工具集成了Hadoop和Spark下许多常用的数据挖掘算法,其中包括本文提到的LDA算法。之后,本文详细介绍了LDA算法的集成过程,并结合实际数据给出了使用BC-PDM应用LDA算法提取主题模型的详细过程。