近年来,短文本已成为互联网信息的普遍形式,尤其是随着在线社交媒体的发展,其数百万的用户每天都会生成大量的短消息。从大量的短文本中推断出主题已经成为许多文本内容分析任务的关键且具有挑战性的工作,例如文本表示,用户兴趣分析和新兴主题发现等。许多现有的方法,例如概率潜在语义分析(Probabilistic Latent Semantic Analysis,PLSA)和潜在狄利克雷分配(Latent Dirichlet Allocation,LDA)等传统主题模型,依赖文档集中存在的单词共现信息来学习出文档中潜在的主题结构信息。由于短文本长度较短,单词之间的共现信息较少,导致LDA及其扩展的传统主题模型从短文本中提取的主题质量欠佳。在自然语言处理和相关领域中,已经证明了词嵌入模型可以有效地捕获单词的语义和句法特征。本文主要利用词嵌入模型从大规模外部语料集中捕获的单词上下文语义信息(即词向量)作为辅助信息,从主题建模的数据和过程两个层面着手改善运用传统主题模型对短文本进行主题发现的效果。主要研究工作和成果包括:(1)针对短文本中词共现信息匮乏的问题,本文提出了一种增强主题建模的伪文档构造算法(Re-organized Documents,RD)。该方法首先利用词向量具有的推理能力从短文本内部挖掘潜在的语义知识,丰富短文本的表达。然后,利用词向量的语义相似关系从文本集内部选取候选词进行特征扩展,构建伪文档。由于该算法利用从外部语料集学习到的词向量挖掘文档集内部的特征对短文本进行扩充,因此可以将这种方法作为通用策略来改进其他基于LDA的主题模型,而不会实质上增加模型的计算复杂性。(2)针对传统主题模型忽略单词间语义关系的问题,本文提出了一种融入词汇语义信息的主题模型算法(LDA Embedded with Word Correlation,EW-LDA)。该模型首先利用词向量挖掘单词之间的语义关系,并计算单个单词的统计特征信息,度量不同单词对主题的表达能力。然后,为了融入挖掘的词汇语义先验知识,在LDA模型的潜在主题层上构造了一个马尔可夫随机场(Markov Random Field,MRF),以在主题采样过程中规范每个单词的主题分配,鼓励具有较好主题表达能力的语义相关单词共享同一主题。最后,提供一种基于坍缩吉布斯采样(Collapsed Gibbs Sampling)的方法对所提出模型的后验分布进行推断并估计其参数,该方法可以自适应地包含单词间的关系。(3)在两个真实的短文本数据集上进行大量的实验,以此验证本文提出的RD算法和EW-LDA模型的有效性,实验结果表明本文提出的方法能有效提高短文本主题发现的效果。