随着互联网的飞速发展,每天都有海量数据出现。帮助人们从海量数据中迅速而准确地获取最需要的信息,成为亟待解决的重要问题。主题信息能够在一定程度上反映数据的高层信息,成为解决这一问题的重要途径。David M.Blei等人于2003年提出了潜狄利克雷分布模型,能够自动地从数据中发现主题信息。　　 潜狄利克雷分布模型认为文档是由若干个主题混合生成,主题是词上的分布。在这个模型中,文档的主题分布和主题上词的分布都以狄利克雷分布为先验分布。潜狄利克雷分布模型是一个良好的产生式模型,在自然语言处理等领域得到了广泛的应用。但是,潜狄利克雷分布模型也存在很多不足。　　 首先,潜狄利克雷分布模型是一种非监督的模型。在这个模型中,可观测的仅仅是文档里面的词。它发现的“潜主题”并不对应着真正意义的“主题”。同时,我们有大量的人工标注的语义知识库,比如知网。本文通过对潜狄利克雷分布模型进行扩展,将语义知识融合到概率主题模型中,利用语义知识库提供的监督信息帮助我们更好地发现主题信息。　　 其次,在潜狄利克雷分布模型中,主题数不能自动确定,并且主题之间相互独立,没有对主题之间的结构关系进行建模。David M.Blei等人于2004年提出了层次化的概率主题模型。利用嵌套的中国餐馆过程,在自动确定主题数的同时实现了主题结构的层次化。本文在实现这个模型的基础上,针对大数据量的训练代价过高,实现了分布式的层次化概率主题模型。　　 本文对概率主题模型进行了详细的介绍,针对潜狄利克雷分布模型存在的不足,进行了改进。实现了分布式的层次化概率主题模型,并且将语义知识融合到概率主题模型中,提高了模型发现主题的性能。