如今,社交媒体在人们的日常生活中占据了越来越重要的位置。每天都有数以百万计的人在社交媒体上发布图片和文字来表达他们的感受和观点,尤其是在Twitter和微博等短文本社交媒体上。由于数据量巨大,人们需要一种工具来自动组织、总结并帮助人们理解这些海量信息。主题模型便是一种自动揭示文本数据中蕴含的主题的统计模型。近来,人们在社交媒体上发布文字的同时,经常会配上图片。由于图片可以为文本提供重要的补充信息来辅助主题的发现,许多多模态主题模型被开发出来。这些模型可以从多模态的社交媒体内容中挖掘出更加连贯的主题,也更加利于人们理解大数据的内容。短文本多模态社交媒体有三个重要特征。第一,短文本社交媒体中的文本因为简短而通常只表达一个主题。第二,由于一张图片能够表达更加丰富的信息,因而可以与多个主题相关。第三,虽然在大多数情况下,社交媒体文档中的文字和图片是相关的,但在少数情况下,文字和图片是不相关的。过去的多模态主题模型未能对短文本社交媒体的这三种特征进行建模,会导致主题中混入噪音等现象,并产生低质量的不连贯的主题。为了解决该问题,本文基于短文本社交媒体的三种特征,提出了一种无监督的多模态主题模型SMMTM来对社交媒体短文本进行建模。在SMMTM模型中,文本只属于一个主题,而图片的信息可以涉及多个主题。SMMTM模型也对文档中文本和图片的主题之间的相关性进行合适的建模,使他们的主题在大部分情况下保持相关的同时,也能够在部分情况下保持独立。SMMTM对短文本社交媒体建模时也存在不足。SMMTM模型假设图片和文本的主题都是一一对应且意义相同的。但是图片中存在字母等无法在文本主题中体现的信息,应当属于图片特有主题。在SMMTM模型中,这种图片特有的信息会出现在任意文档中并与不同词语共现,使得本不属于同一主题的词语间接共现,并导致挖掘出的主题不连贯。本文进一步提出了ITESMMTM模型来解决这个问题。ITESMMTM模型引入了图片特有主题,和图文共享主题一同对多模态的短文本社交媒体内容进行建模,从而将图片特有的信息与图文共享的信息进行区分。本文使用吉布斯采样算法对模型进行推断。本文在三个公开的短文本社交媒体数据集上进行了实验,和多个过去的多模态主题模型进行了对比,并通过四个主题模型的评估指标以及主题可视化来展现本文提出的模型的优势。实验表明,SMMTM和ITESMMTM模型能够很好的建立短文本社交媒体中文本和图片之间的联系,有效地挖掘出连贯的多模态主题。