论文部分内容阅读
目的随着互联网的飞速发展，需要处理的数据量不断增加，在互联网数据挖掘领域中传统的单机文本聚类算法无法满足海量数据处理的要求，针对在单机情况下，传统LDA算法无法分析处理大规模语料集的问题。方法本文提出基于MapReduce计算框架，采用Gibbs抽样方法的并行化LDA主题模型的建立方法。利用分布式计算框架MapReduce研究了LDA主题模型的并行化实现，并且考察了该并行计算程序的计算性能。结果通过对Hadoop并行计算与单机计算进行实验对比，发现该方法在处理大规模语料时，能够较大地提升算法的运行速度，并且随着集群节点数的增加，在加速比方面也有较好的表现。结论基于Hadoop平台并行化地实现LDA算法具有可行性，解决了单机无法分析大规模语料集中潜藏主题信息的问题。