【摘 要】
:
在机器学习和贝叶斯推理中,复杂的概率模型通常需要计算难解的高维积分。马尔科夫链蒙特卡洛(Markov Chian Monte Carlo,MCMC)是一种常用的贝叶斯概率模型的近似方法。MCMC利用从马尔科夫链中采样得到的样本去近似复杂的概率分布。当采样的样本数量足够大时,它能够为概率模型提供渐近无偏的估计。基于动力学的采样方法是当前最流行的MCMC方法之一,其中哈密尔顿蒙特卡洛(Hamilton
论文部分内容阅读
在机器学习和贝叶斯推理中,复杂的概率模型通常需要计算难解的高维积分。马尔科夫链蒙特卡洛(Markov Chian Monte Carlo,MCMC)是一种常用的贝叶斯概率模型的近似方法。MCMC利用从马尔科夫链中采样得到的样本去近似复杂的概率分布。当采样的样本数量足够大时,它能够为概率模型提供渐近无偏的估计。基于动力学的采样方法是当前最流行的MCMC方法之一,其中哈密尔顿蒙特卡洛(Hamiltonian Monte Carlo,HMC)是基于动力学的MCMC方法中最典型的代表,它利用哈密尔顿动力学去构建马尔科夫链,从而高效地从目标分布中采样。然而,HMC在样本自相关性和多模态采样问题上存在明显的不足。本文的工作是研究基于动力学的采样方法,并设计能够采样多模态分布的高性能的采样器。首先,为了进一步提高现有动力学采样器的性能,即提高收敛速度和降低样本的自相关性,本文提出了神经郎之万蒙特卡洛(Neural Networks Langevin Monte Carlo,NNLMC)。它充分利用了神经网络的灵活性和郎之万动力学采样的高效性来构建一种新的MCMC采样方法。我们提出了新的更新公式来产生样本,并利用合适的损失函数在采样的过程中进一步提高NNLMC的性能。为了验证采样器的性能,我们在各种具有挑战性的分布以及真实数据集的后验分布上进行采样。实验结果显示,NNLMC能够高效、准确、独立地从目标分布中采样。其性能优于最先进的MCMC采样器。此外,为了能够处理多模态的数据分布,本文进一步提出了郎之万规范化流蒙特卡洛(Langevin Normalization Flows Monte Carlo,NFLMC)。它将郎之万扩散引入规范化流来构建一种全新的动力学采样方法。我们提出合适的损失函数来保证采样器产生的样本能收敛到目标分布上。之后,我们针对未规范化的目标分布进行进一步的研究。我们在多模态分布、各种复杂的数据分布、以及真实数据集的后验分布上进行实验。最终的实验结果表明,提出的方法不仅能够处理各种复杂的数据分布和真实数据集的后验分布,而且还能够准确地从多模态分布中采样,同时保持低的样本自相关性。其性能优于最先进的MCMC采样器。最后,为了针对远距离的多模态分布,本文进一步提出了变分混合蒙特卡洛(Variational Hybrid Monte Carlo,VHMC)。我们通过构建一个合适的变分分布来发现新的模态,并且设计新的样本接受率使得VHMC能够收敛到目标分布。为了验证采样器的性能,我们在各种混合高斯分布上进行实验。最终结果表明,我们的方法能够准确高效地采样远距离的多模态分布。综上,本文提出的NNLMC、NFLMC、VHMC能够针对不同的数据分布高效准确地采样。作为一种高效的采样方法,NNLMC利用神经网络构建更加灵活的马尔科夫链。相比于传统的动力学采样方法,NNLMC产生的样本具有更低的自相关性。作为一种多模态采样方法,NFLMC利用郎之万规范化流来构建不同分布之间的映射关系。相比于NNLMC,NFLMC能够更准确高效地采样多模态数据分布,同时进一步消除了样本之间的自相关性。作为一种远距离的多模态采样方法,VHMC通过构建目标分布的变分分布来实现对不同模态的探索。相比于NFLMC,VHMC能够进一步针对远距离的多模态分布进行准确地采样。在各种复杂的数据分布、多模态数据分布、真实数据集的后验分布上的采样结果验证了NNLMC、NFLMC和VHMC的准确性和有效性。
其他文献
本文主要研究了用于催化CO还原NO反应的改性的Cu,Fe基复合氧化物宽窗口催化剂的制备、催化性能、活性窗口、热稳定性、反应气氛条件下的物化性质、结构等。基于上述探讨内容,通过X射线衍射(XRD),N2 吸附-脱附(N2-physisorption)、高倍透射(HR-TEM),SEM-Mapping、程序升温还原(H2-TPR)、原位红外吸附(In Situ DRIFTS)、X射线光电子能谱(XPS
双调和方程和p-Laplace方程是现代偏微分方程理论中的重要研究内容.双调和方程在光学,等离子体物理学,弹性力学和工程学等领域有广泛的应用.p-Laplace方程在非牛顿流体,非线性弹性,冰河学以及石油开采等领域有广泛的应用.近年来,带有p-Laplace双调和方程越来越受到学者们的关注.本文在非线性项满足适当的假设条件下,运用山路定理,喷泉定理及Nehari流形等方法研究了两类p-Laplac
随着人们生活水平以及对居住环境舒适度要求的不断提高,建筑能耗占社会总能耗的占比逐年升高。建筑物的隔热保温效果直接影响着热损失大小,在炎热的夏季,由于强烈的太阳辐射,
p-Laplace方程是一类非常重要的非线性方程,它在数学物理学的许多分支中都扮演着重要的作用.许多非线性物理现象都可以用p-Laplace问题来描述,比如非线性扩散和过滤,非牛顿流体,弹塑性扭转蠕变,多孔介质中的流动等问题,因此,研究这类问题具有实际意义和应用价值.本文主要研究了一类带有扩散项的p-Laplace方程无穷多解和基态解的存在性,采用的方法是变量替换,截断技巧,山路定理以及Moser
近年来,随着我国基建的发展,地下空间、隧道建设、采矿等岩土工程日益增多。在工程建设的过程中,由于扰动导致围岩失稳而引发的工程事故屡见不鲜,因此进行岩石破损机理探究、
作为农村家庭的基本资产,宅基地是中国乡村的特有产物,为农村人口提供最基本的居住保障,同时具有养老、就业等基本的保障功能,是乡村建设和发展的重要载体,是村民的巨大财富。随着社会经济的发展,工业现代化建设和非农化建设不断推进,以职业转移、地域转移、身份变更为递进的农民阶层分化程度不断提高,宅基地的价值属性也逐渐显现。大量农村人口为改善生活环境和条件,逐渐远离农村的农业生产劳动,但其户籍并没有随之迁移,
混合回归模型已广泛用于各种异构数据,而大多数的混合回归模型是通过基于MLE的EM算法来估算的。当存在异常点时,MLE的不稳健性就会突显出来。针对于此,已经开发了许多稳健混合回归模型,如TLE、M估计、基于T分布的稳健混合回归模型以及基于惩罚函数的混合回归模型。关于基于惩罚函数的稳健混合回归模型现阶段只有基于L0罚函数和基于L1罚函数的这两种混合回归模型,本文在此基础上尝试使用基于SCAD惩罚函数的
我国农田土壤镉(Cd)、铅(Pb)污染导致的食品安全问题已受到日益关注。业已证明,矿物硅肥具有钝化稻田重金属、降低水稻籽粒重金属积累的效果。但是,有机硅肥是否也具有钝化重
联苯类化合物是一类在农药、医药、生物材料、液晶等领域具有广泛应用的化合物,结构上看,是由两个苯环组成,苯环上进行不同官能团的取代,进而形成一系列的化合物,其中本文研
分数阶微分理论在现代数学中应用广泛,距今已有300多年的发展历史,其可描述任意阶次微分算子的特性,克服了整数阶微分的局部性,更好地展现了系统函数发展的历史依赖过程.近些年来,Langevin方程的研究应用得到了各科领域的重视和发展,比如:在生物化学中,研究蛋白质折叠动力学的应用;在物理中,研究量子噪音的应用等.分数阶Langevin初值问题因此受到国内外学者们的广泛关注.本文主要研究含两个分数阶的