随着互联网的普及,来自新闻、博客、社交网络等媒体的文档爆炸增长,从中发现特定信息的需求因而日益强烈。对于大规模文本,主题模型可以自动地发现其中的关键主题,从而成为一种有效的组织、探索和理解信息的方式。近年来,神经网络的发展为主题建模提供了灵活的学习框架。因此,基于神经网络的主题模型（又称神经主题模型）引起了广泛的关注。然而,现有的神经主题模型依然面临许多挑战,如无法在主题推断过程中利用文档间关系、不能有效利用大规模语料库蕴含的知识等。因此,围绕上述挑战,本文的主要工作包括:1.针对基于对抗训练的神经主题模型不能直接推断文档主题分布的不足,本文提出了基于循环一致对抗训练的神经主题模型ToMCAT。除了使用一个生成器捕捉主题相关的词语分布模式,ToMCAT还引入一个编码器实现对文档主题的推断。为了训练生成器和编码器,一方面将它们与各自的判别器对抗训练以生成逼真的样本;另一方面对它们施加了循环一致约束以建立两者间的联系,使两者学到一致的表示空间。此外,针对训练数据有标签的情况,本文提出了扩展版的ToMCAT,sToMACT。相对于ToMCAT,sToMCAT额外引入一个分类器。分类器和原有的模型组件共同训练,从而利用文档标签引导和正则化主题模型的训练。主题建模和文本分类实验的结果验证了ToMCAT和sToMCAT的有效性。2.针对现有的神经主题模型无法有效利用文档间关系的不足,本文提出了基于文档关系图的神经主题模型GTM。GTM的主题建模过程没有局限于单文档的词袋表示,而是通过建立语料库级别的文档关系图利用了更全局的信息。该文档关系图包含文档结点和词语结点,结点间的连通由文档和词语的共现关系确定。通过连通不同类型的结点,该图提供了在结点间传播信息的能力。GTM基于Wasserstein自编码器构建模型。在推断某个文档的主题时,为了有效利用构建出的文档关系图,GTM使用一个多层图卷积编码器从图中该文档对应结点的邻域文档和词语结点中聚合相关上下文。在三个数据集上的实验结果表明,GTM的主题建模性能优于当前几个比较先进的神经主题模型。3.针对现有的神经主题模型未充分且高效地利用外部大规模语料库蕴含知识的不足,本文提出了一种基于预训练和微调的神经主题模型训练策略。首先在外部大规模语料库上训练主题模型,这称为预训练;之后,在其他数据集上对主题模型进行微调。由于预训练和微调使用相同的模型架构,因此微调阶段不会像使用预训练语言模型一样引入额外的计算。本文在三个数据集上进行了实验。结果表明,所提出的方法不仅明显优于一些最新的神经主题模型,而且也优于使用预训练语言模型的主题建模方法。