Copula变分推理研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:a6863156
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
变分推理是计算后验分布的一种常用方法,因其收敛速度快、理论基础扎实,在机器学习中发挥着核心作用。传统变分推理假设变分分布为平均场形式(Mean-field),即隐变量之间相互独立,这种理想化假设虽然可以简化优化过程、提高计算可行性,却忽略了隐变量之间的后验相关性(后验依赖关系),对具有变量相关性的模型来说并不适用。Copula变分推理(Copula Variational Inference,CVI)是解决上述问题的主流方法之一,通过使用Copula函数来捕获模型中隐变量之间的依赖关系,虽然可以获得全面且完整的信息,但存在以下问题:(1)由于Copula函数未考虑到依赖关系的稀疏性,从而捕获到一些非必要依赖关系,降低了变分推理近似的准确性;(2)Copula函数采用满秩的方法使得计算复杂度为隐变量数量的平方,增加了计算复杂性。本文针对以上两个问题对CVI方法进行研究和改进,提出了稀疏Copula变分推理方法,又因该方法对稀疏后的相关性信息获取不够全面,进而提出了稀疏Copula层次化变分推理方法。具体工作内容如下:(1)针对CVI中Copula函数忽略隐变量依赖关系的稀疏性和因满秩计算使得复杂度增加的问题,提出一种稀疏Copula变分推理方法(Sparse Copula Variational Inference,SCVI)。通过添加稀疏诱导正则化来控制Copula表示的稀疏性,从而找到更加紧凑的表示,去除不重要的依赖关系。具体方法是在Copula参数上添加L1范数来实现正则化目标。实验基于高斯混合模型和潜在空间模型在合成数据集和真实应用数据集上验证SCVI方法的近似性能,对比了传统MFVI和基于改进的CVI方法。实验结果显示三种方法的ELBO值:SCVI>CVI>MFVI,可以看出SCVI不但继承了CVI捕获后验分布相关性的能力,而且通过增加稀疏性,进一步提高了变分推理的近似精度。(2)虽然SCVI弥补了CVI的不足,但是由于稀疏化Copula函数,导致隐变量之间的依赖关系获取不够全面,为了解决这一问题,进一步提高SCVI的近似性能,在工作(1)的基础上,结合层次化变分模型(Hierarchical Variational Model,HVM)的变分先验结构,提出一个改进的稀疏Copula层次化变分推理方法(Sparse Copula Hierarchical Variational Inference,SCHVI)。在SCVI方法中引入HVM的层次化结构,这种结构可以在保持隐变量之间的条件独立性的同时,丰富模型的结构关系,进一步获取隐变量相关性,且不会增加计算复杂度。具体方法是将SCVI的稀疏Copula函数作为HVM变分参数的先验分布。基于高斯混合模型,在合成数据集和MNIST真实数据集上检验SCHVI方法的性能,与MFVI、CVI方法和上一个工作中提出的SCVI方法进行对比,得到SCHVI的ELBO值明显优于其他三种对比方法。从实验结果可知,结合HVM的层次化变分先验结构能够更好地捕获隐变量之间的后验依赖关系,进一步提升SCVI方法的近似性能。
其他文献
深度学习的发展为社会带来了巨大的进步,在语音识别、图像处理、语言翻译、恶意软件检测等方面发挥重要的作用。对抗样本攻击是一种针对深度学习图像识别任务的恶意攻击,攻击者通过向输入图片中添加人类肉眼观察不到的恶意扰动,导致图像识别模型对图片分类错误,这种添加过恶意扰动的图片被称为对抗样本。对抗样本攻击会影响模型正常使用,对深度学习发展构成严重威胁。本文对现在主流的对抗样本防御方法总结梳理发现,许多防御方
学位
根据矿用液压支架立柱在井下轴向和切向受力及磨损的工作特点,该文对矿用液压支架立柱基材27SiMn钢的硬度和耐磨性进行实验探究分析,并利用激光熔覆技术在27SiMn钢表面改性。激光熔覆搭接实验在单道熔覆实验基础上进行,熔覆搭接第二道时,基材温度已经升高,实验条件与单道实验略有不同。在液压支架立柱基材27SiMn钢表面进行一系列激光单道熔覆实验,对比单道熔覆层厚度、摩擦磨损实验及硬度等检测结果,找到合
期刊
目前,知识图谱(Knowledge Graph,KG)作为知识的结构化表示引起了研究人员的极大关注。知识图谱表示学习(Knowledge Graph Representation Learning,KRL)旨在学习一个准确的、富含语义信息的知识表示。目前的KRL方法仅仅考虑了KGs中结构信息和其他语义信息(描述信息、图像信息等),对实体属性信息应用不充分、不全面。此外,属性信息通常是复杂、异构、多
学位
互联网的产生让人们能够在随时随地获得需要的信息或者分享有用的信息,因此随着互联网不断发展,信息规模成长到了人们难以筛选的量级,因此如何在海量的信息中提取到有用的信息具有十分重要的研究价值。问题生成作为自然语言处理中一项具有挑战的任务,旨在根据给定的文本以及目标答案生成合适的提问。该任务能够自动地扩充问答数据集,在阅读理解等多个领域都有着重要作用,并且也可以给对话系统提供冷启动话题。因此,如何提高问
学位
动载作用下岩石的破坏规律研究对于众多地质灾害的机理分析和预防具有重要的理论及实际意义。鉴于数值模拟研究的优势,应大力发展适于岩石动力断裂过程模拟的数值方法。在自主开发的拉格朗日元与离散元耦合连续-非连续方法的基础上,采用朱-王-唐本构模型取代了广义胡克定律,发展了考虑动力本构的连续-非连续方法,其正确性通过模拟不同加载速度下砂岩试样的单轴压缩实验进行了验证。采用考虑动力本构的连续-非连续方法开展了
学位
我国大部分地区煤碳质地致密,随着能源抽采进入深部区,瓦斯突出等现象越发严重,深部瓦斯抽采也遇到了前所未有的困难,煤体自身的物理性质,包括节理结构、含水饱和度、所受围压及外界环境温度等是影响煤层气存储能力和渗流能力的主要因素,本文针对现有提高煤储层渗透性实验方法的优缺点,利用液氮作为制冷液、低温保存箱创造低温环境,以辽宁省阜新盆地长焰煤为研究对象,利用物理增透的方式,开展了低温冻融作用下不同节理煤岩
学位
液压支架立柱的泄漏是导致液压支架失效的主要原因之一。立柱挂液是泄漏的一种特殊形式。依据液压支架φ450 mm立柱的产品结构及3种厂家的密封结构分析,从增大密封过盈量、密封槽加工等方面提出解决立柱挂液问题的对策,可有效减少立柱挂液的发生,为解决立柱挂液问题提出新思路。
期刊
随着煤炭行业的持续发展,三下压煤问题对煤炭开采的影响日益严重,而分层充填开采是一种有效解决厚煤层三下压煤问题的重要技术手段。但由于分层充填开采方法较为特殊,且开采过程中会受到充填材料放热和充填体孔隙结构的影响,导致煤层和充填区内部瓦斯渗流和涌出规律十分复杂。为了探究使用分层充填法采煤过程中煤层瓦斯渗流及涌出规律,以高河能源3#煤层E1302工作面为研究背景,通过理论分析、现场试验、数值模拟相结合的
学位
随着地下煤层开采深度增加,岩层控制难度加大,区段煤柱受到水的物理化学作用,在开采作用下易发生失稳,造成生命财产损失。因此,开展在采动作用下含水区段煤柱的稳定性研究,对煤矿的安全生产具有重要理论意义和实际应用价值。以实际煤矿开采工作面为背景,对不同含水率型煤试件进行单轴压缩及巴西劈裂实验,利用尖点突变理论与有限元数值模拟分析方法,对采动作用下含水区段煤柱的稳定性进行研究,主要工作与成果如下:(1)通
学位
深度学习的概念一经提出,便引发了人工智能领域的发展狂潮,尤其在自然语言处理领域中,其影响极其深远。对于自然语言处理任务而言,仅依靠传统模型与数据标注结合的方法无法做到语义的精准理解。想要准确深入地理解语义,必须将先验知识融入到自然语言处理任务中。实践证明,知识指导的自然语言处理是未来发展的必由之路。随着研究的深入,知识图谱得到了广泛的应用,尽管如此,知识图谱依然面临着覆盖度不完整等问题。为了提高知
学位