伴随着互联网的普及,网络文本数量呈爆炸式增长,在大规模数据中快速高效发现有价值的信息具有重要意义。文本有效知识发现是数据挖掘领域一大重要分支,使用合适的文本表示模型表示文本,对文本进行聚类分析,将语义相似的文本实现聚类。为改善单机串行编程模型对海量数据聚类效率不理想的问题,将大数据技术与文本聚类相关技术结合。对文本数据实现分布式存储和计算,基于MapReduce编程模型实现文本向量并行化、利用聚类算法并行化聚类。MapReduce框架思想可简要概括为先切分后合并,切分文本数据集为数据块,分布式存储到HDFS(分布式文件系统),集群中的每个工作节点并行对切分的数据块进行处理,并行处理结果合并输出到HDFS。传统k-means聚类算法是解决聚类问题的典型算法,处理大数据集具有较好的伸缩性和扩展性,但该算法初始中心选取随意,算法每次运行较不稳定,为解决上述问题,基于密度分割思想与抽样思想相结合优化选取初始聚类中心,对数据集并行采样,对样本引用最大最小值方法搜索查找最佳候选聚类中心,并行合并数据对象,根据候选聚类中心的密度,消除噪声,将最密集的对象与指定范围内包含的剩余对象合并为簇,簇均值作为初始中心优化选取方法的输出结果。将选取出的初始聚类中心替换k-means算法随机选取的中心点,聚类算法并行化,通过实验证明改进k-means算法有效减少迭代次数。以聚类质量和效率为评价方法,对比分析基于初始聚类中心优化的k-means并行算法和其他聚类算法的聚类结果,本文改进的k-means并行算法在聚类质量、效率、并行性能方面具有优越性。