深度学习是机器学习的重要分支,是一种使用多层非线性变换结构进行模式匹配和预测的算法。近年来,深度学习被广泛应用在图像识别、自然语言处理和语音识别等领域,极大改善算法性能,在人工智能中扮演越来越重要的角色,但是在现实应用中深度学习的缺陷也凸显出来。深度学习的大部分任务是有监督学习,需要大量有标签的数据。深度学习模型计算复杂度高,算法容易被攻击,而且缺乏可解释性,其内部工作机制不清楚。贝叶斯推断方法依据大量贝叶斯统计理论,捕捉数据产生的过程。在深度学习中引入贝叶斯推断算法,可以为模型提供统计解释,改善模型的鲁棒性能,缓解上述问题。本文研究如何高效结合贝叶斯推断方法和深度学习,来弥补深度学习存在的缺陷。具体来讲,本论文重点针对深度表征学习中互信息估计、循环神经网络的模型压缩、以及变分自编码器的后验坍缩等问题进行深入研究,主要研究内容和创新如下:互信息在深度表征学习中起着重要作用。但是互信息在连续和高维情形中是难以处理。最近的研究尝试建立了易于处理且可微的互信息方法,然而这些估计方法要么具有较高的方差,要么具有较大偏差,这导致不稳定的训练或者较差的模型性能。我们探索另一个吸引人的策略——互信息的梯度估计。因为如果从优化互信息的角度看,我们不关心互信息自身的值,而是将其作为优化目标最大化或者最小化。为此,我们提出了一种基于隐式分布得分估计的互信息梯度估计方法。该估计方法不仅具有较低的方差而且具有较小梯度偏差。我们在各种深度表征学习任务上的大量实验证明了我们的方法的优越性。循环神经网络在许多应用中都取得了令人瞩目的成功。但是,这些模型的巨大尺寸和计算负担使其难以在边缘设备上部署。网络剪枝技术是一种减少循环神经网络的总体存储和计算成本的有效方法。尽管取得不错效果,基于Lasso正则化的修剪方法会在参数矩阵中产生不规则的稀疏形式,这限制了实际的加速效果。为了解决这一问题,我们提出了一种结构化稀疏推断方法,该方法通过神经元选择移除循环神经网络的神经元。更具体地说,我们引入了两组二进制随机变量,它们可以分别解释为输入神经元和隐藏神经元的门开关,可以生成参数矩阵二值掩码。我们证明可以通过最小化神经网络权重矩阵的L0范数来推断二值变量的离散状态,这可以看作对模型参数施加Spike-and-Slab先验。关于语言建模和机器阅读理解任务的实验结果表明,与其它的剪枝方法相比,我们提出的结构化稀疏推断方法具有更好的加速效果。变分自编码器是一种深度隐变量模型,被广泛应用到生成建模、半监督学习和表征学习。最近的研究表明,先验在变分自编器的数据密度估计中扮演着重要的角色。变分自编码器通常使用标准高斯先验,然而这种简单的先验会导致后验分布过正则化,使模型性能变差。这种过正则化现象称为后验坍缩。为了解决上述问题,我们提出了离散聚合先验,此先验可以从数据中学习潜在结构特征,更好的正则化变分后验。具体来说,我们在隐变量空间上找到所有数据对应隐变量的核心点,并利用Parzen Windows概率密度估计方法聚合成隐变量的先验。相比标准高斯先验和高斯混合先验,离散聚合先验具有更好的生成效果。