基于动量的随机梯度马氏链蒙特卡罗方法

来源 :上海师范大学 | 被引量 : 0次 | 上传用户:esinstra
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
贝叶斯学习是机器学习领域中一类重要的方法,它能够结合先验信息和样本中的信息捕捉参数的不确定性,进而获得目标后验分布。马尔可夫链蒙特卡罗采样通过生成一个平稳分布为目标后验分布的马尔可夫链来实现参数抽样,并用抽样生成的离散样本来近似目标后验分布。随着巨大的信息量和数据流的出现,如何高速且低成本地处理这些数据,发现大数据中存在的信息成为人们目前主要的关注点。马尔可夫链蒙特卡罗方法在处理大数据集时的计算成本非常高,每一次迭代过程都需要遍历整个数据集,因此随着数据量的增长该方法的可操作性日益降低。近年来,基于小批量采样思想的随机分批马尔可夫链蒙特卡罗算法可大幅降低处理大数据集的单次迭代过程的计算成本,但是该方法在大型数据集和计算复杂模型时收敛到目标后验分布的速度非常缓慢,随着迭代次数的增加计算的成本也会不断提高。本文研究了一种能够加快随机分批马尔可夫链蒙特卡罗算法收敛速度,且能降低计算成本的加速算法,使得生成的马尔可夫链能够以较少的迭代次数快速获得稳态分布,进而逼近目标后验分布。本文的主要特色包括:借鉴随机优化方法中动量加速的思想,引入一种动量随机梯度朗之万蒙特卡罗方法,这是一种新的用于逼近目标后验分布的算法。本文从理论分析和实证模型两方面论证该方法的收敛性质与计算成本,在理论上证明了算法的遍历性并讨论了算法的收敛速度。在计算实验部分,本文分别基于模拟数据集和经典的MNIST数据集建立了逻辑回归模型和贝叶斯神经网络模型,比较动量随机梯度朗之万蒙特卡罗算法与其它流行的马尔可夫链蒙特卡罗算法的收敛速度和计算时间成本。实验结果表明,本文提出的动量随机梯度朗之万蒙特卡罗方法相比于SGLD、SGHMC、SHNHT等流行的方法,能够加快算法的收敛速度,并快速收敛到目标后验分布,且能够保持最低的计算时间成本。
其他文献
伴随中国经济的飞速发展,市场份额不断被中小企业瓜分,竞争日益激烈。内生增长的发展很难跟上市场变化,难以适应中小企业未来发展的需要,这使得很多中小企业转为外部兼并扩展。伴随医疗保健体制改革的不断深入,医保控费、药物集中采购等优惠政策的实施,医药企业面临着史无前例的整合和转型冲击,逼迫医药企业不得不开展更为活跃的并购活动。截止2022年8月,医药行业共发生了175起收购,成交金额超过了人民币486亿元
学位
并购是优化企业间资源分配、实现产业升级以及促进行业整合的重要方式之一。2014年以后,中国市场并购交易的数量急剧增加,交易规模也出现了爆炸性的增长。但是近些年来并购受到全球经济增速放缓的影响,自2018年以来我国并购市场的交易金额和交易数量出现下降。证监会为了推动并购重组的市场化改革并激发释放市场活力,主要通过减少行政许可事项和丰富支付工具两大措施使资本市场并购重组充分发挥主渠道功能。目前,国内上
学位
自1990年以来,中国政府积极推进交叉持股,使国有企业的股权多元化,并鼓励地方企业与中央企业交叉持股。随着改革开放的深入推进,中国经济的快速发展,证券市场也走上了规范化、成熟化的道路;各种资源优化配置的资产重组也不断涌现;航空运输业,作为推动我国经济发展的重要组成部分,我国属于起步发展较晚的行业,航空业以经营波动大而闻名,被认为是一个典型的大周期行业,受供应、需求、石油和外汇这四个周期性因素的影响
学位
随着2020年新冠疫情爆发,中药在疫情的防控及治疗中取得了突出效果,这让中药在中国民众心中的地位得到了进一步的提高,而政府的相关政策也开始向中药类公司倾斜。《中医药发展战略规划纲要(2016-2013年)》中明确提出:全面推动我国中医药事业的发展,为我国中医药事业的转型和现代化作出贡献。中成药行业迎来前所未有的发展机会。同时,我国“十四五”规划以及2035年的远景目标纲要均表明,要加强国家战略科技
学位
当前,数字产业化和产业数字化为经济发展带来新的增长点,数字经济不仅成为经济稳增长的关键支撑,更为国家高质量发展注入强大动能。啤酒在我国作为舶来品,经过百年发展已在市场中具有庞大的消费群体,传统的量增逻辑遭遇瓶颈,2020年初遭受新冠疫情的巨大冲击,一时陷入发展困境。啤酒龙头企业纷纷加快数字化转型步伐,推动企业加快高端化转型。本文研究本土龙头企业青岛啤酒数字化转型对其绩效的影响,总结经验为同行业其他
学位
民航作为国家重要的基础性、先导性和战略性产业,在促进地区发展中起着举足轻重的作用。而在我国,航空公司又是我国航空业的主体,对推动我国各地区和各地区的工业布局和发展起着举足轻重的作用。但是,最近几年,伴随着剧烈的市场竞争,尤其同时加上新冠疫情给民航企业的运营带来了极大冲击,各个航空公司都在面对着越来越多的问题比如利润率不高,还在面对着越来越多的内部和外部的发展环境。所以,对代表航空公司的财务风险展开
学位
从20世纪90年代上交所与深交所成立开始,我国的资本市场就出现了。发展至今,国内资本市场取得了一定成效。但是在这三十年的发展过程中,负面现象逐渐出现,大股东掏空行为就是具有代表性的问题之一。从统计数据可知,近几年内,在国内资本市场中,上市公司中大股东持股比例往往较高。如此一来,大股东在经营决策中拥有较大的话语权,中小股东难以发声。这种一股独大的股权结构容易滋生大股东掏空行为,其后果是公司价值下降,
学位
核心素养背景下,要求教育面向生活和未来,培养学生在真实情境中解决现实问题的能力,而真实性学习强调将学生置于相对真实的情境中,让学生采用专家的思维、工具和方法进行研究,并完成作品创作(或模拟作品),这与核心素养的指向契合,因此在美术课堂中如何运用真实的情境培养学生解决真实问题的能力是一个值得研究的课题。本研究以真实性学习相关理论为指导,包含建构主义学习理论、杜威的实用主义学习理论和“追求理解的设计”
学位
目的 探讨应用快速康复外科理念前后,肺癌胸腔镜手术患者住院费用的变化情况,为合理控制医疗费用提供依据。方法 纳入2020年10月31日至2021年11月30日期间某三甲医院胸外科肺癌胸腔镜手术的患者218例,2021年8月1日开始实施ERAS理念,分为ERAS前104例患者和ERAS后114例患者,比较分析ERAS理念前后肺癌胸腔镜手术患者各项住院费用的变化情况。结果 肺癌胸腔镜手术患者住院费用占
期刊
近年来,政府制定了一系列优惠政策,支持企业融资,使供应链融资变成国家实体经济建设和中小企业规模增长的重要手段。如今,供应链金融踏着创新的脚步而来,以全新的线上化模式来满足供应链上各方的融资需求,不断展现出其强劲的经济市场生命力,也展现出其在改善行业发展生态的重大推动作用和提高中小企业融资机会的独特优势。但在近几年曲折的经济发展进程中,供应链企业对于融资效率和效果的要求越来越高,商业银行提出了具有开
学位