深度神经网络在众多机器学习领域取得了令人瞩目的进展,并被应用到各种实际场景中。但是,一般的深度神经网络建模一个从输入数据到语义标注的条件概率模型,这种机制导致了两个瓶颈问题:一方面,深度神经网络忽略了数据中的不确定性,无法处理数据中可能存在的噪音和缺失信息;另一方面,深度神经网络的训练需要大量的数据标注,而人工标注在很多实际应用中非常稀少且昂贵。深度生成模型结合了深度神经网络的灵活性和概率建模框架的推理能力,可以在完全无标注的情况下建模复杂数据的联合概率分布。因此,深度生成模型是一种解决深度学习两个瓶颈问题的原则性方法,并将成为未来大数据分析的基础工具。虽然深度生成模型前景广阔,但是现有模型的表达能力、可解释性和判别性均有不足之处,亟待解决。具体而言,第一,现有深度生成模型中的网络结构和隐变量结构都非常简单,这限制了模型的表达能力;第二,现有深度生成模型以完全黑盒的方式拟合一个从噪音到高维数据的映射,其隐变量可解释性不足,生成图像的语义也难以控制;第三,无监督学习所提特征的判别能力远逊于前馈神经网络,而在深度生成模型中恰当地引入监督信号又是一个非平凡问题。本文面向不同的机器学习任务,设计匹配的模型和学习准则,开发高效的推理和学习算法,解决上述深度生成模型的关键性研究问题。本文的主要创新点如下:1.面向无监督学习,受神经科学启发,提出一个带有记忆模块和注意力机制的深度生成模型,提高了模型的表达能力和表现;提出对抗变分推理和学习算法,无需对模型结构作特定假设,提高了一大类无向模型的推理和学习效果。2.面向无监督学习和弱监督学习,基于贝叶斯网络和信息传播算法,提出一个灵活普适的结构化深度生成模型框架,可以生成新的结构化数据并推理给定数据中的结构化隐变量,增强了深度生成模型的表达能力和可解释性。3.面向有监督学习和半监督学习,基于最大间隔学习准则,提出最大间隔深度生成模型及其变体,极大增强了显式概率模型的判别能力,同时保留了其处理数据中的噪音和缺失信息的能力。4.面向半监督学习,受博弈理论启发,提出了三元生成对抗网络,首次提出半监督生成对抗网络的最优均衡点并给出证明,显著提高了半监督分类准确率,并首次在给定部分标注的情况下完成了语义可控的图像合成任务。