主题模型是文本主题聚类的关键技术,被广泛应用于文本分析、新闻推荐、舆情监控等涉及到文本主题的领域。隐含狄利克雷分布(Latent Dirichlet Allocation,LDA)是一个成功的主题模型,通过指定主题数目,它能优美地解决文本主题聚类问题。然而,确定语料库的主题数目,尤其是在流式计算场景下确定文本流的主题数目,是一件及其困难和不切实际的事。分层狄利克雷过程(Hierarchical Dirichlet Process,HDP)是非参数贝叶斯模型在主题建模上的应用,它的出现有效地克服了LDA在文本流聚类过程面临的主题演变和主题数目增加的困境。为了在流式计算场景应用主题模型,实现大规模地文本流主题聚类,本文做了以下工作:(1)提出基于参数服务器的在线变分贝叶斯推断方法针对目前LDA模型的在线变分贝叶斯推断方法没有实现模型分布式化,难以解决大规模文本主题聚类的问题,本文引入了参数服务器模型,用来解决模型参数的存储、分发与同步问题。基于RDD各训练分区对模型参数更新的贡献比例,提出分区内模型参数的更新策略,并以此提出在线变分贝叶斯推断的分布式算法。依据参数服务器参数分发与更新特点,设计的LDA在线变分贝叶斯推断方法的分布式体系结构,并在Spark上进行了实现。实验结果表明,基于参数服务器的LDA在线变分贝叶斯推断方法比Spark MLlib实现的在线变分贝叶斯推断在收敛性能、运行速度和解决大规模问题能力方面均有大幅度提升。(2)分层狄利克雷过程的分布式优化与实现相对于LDA模型,HDP模型的隐含参数更多,其变分贝叶斯推断也更为复杂。针对目前HDP模型在线变分贝叶斯推断方法没有实现分布式化,难以解决较大规模的文本流主题聚类的问题,本文分析了HDP在线变分贝叶斯推断方法在分布式环境下模型参数存储、分发和更新所面临的瓶颈问题,基于数据并行和模型并行思想设计了HDP在线变分贝叶斯推断的分布式方法,结合参数服务器在Spark上实现了HDP模型分布式系统原型。实验结果表明,分布式HDP系统能有效收敛,相比于当前的单机算法,在略微牺牲收敛性能的代价下,大幅提升了训练速度。本文工作使得文本流的窗口训练时间降为数分钟级别,从而让HDP文本流主题聚类技术进入可实用阶段。