基于MC Dropout算法的贝叶斯深度GLM模型及应用研究

来源 :天津商业大学 | 被引量 : 0次 | 上传用户:dbfan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着大数据时代的到来和人工智能的兴起,机器学习逐渐应用到各个学科与领域。神经网络作为机器学习和人工智能技术的基础,得到了广泛的关注与应用。神经网络作为一种黑箱算法,虽然在预测与分类等方面有着优异的表现,且具有良好的自适应性、鲁棒性以及灵活性等优势,但也存在模型的可解释性不强、缺乏对预测结果的可信性分析、无法对预测的不确定性进行度量等问题。近些年来,众多学者开始探索将统计学理论与机器学习方法相结合的途径,期望能够从理论上明确神经网络的运行过程,提高模型的可解释性,并且能够衡量模型预测结果的不确定性。Tran等人在2020年提出了贝叶斯深度广义线性模型(Bayesian Deep Net GLM,以下简称Deep GLM),该模型将神经网络与广义线性模型相结合,通过神经网络将数据输入转换为具有某种理想属性的预测变量,再建立预测变量与响应变量之间的广义线性模型。该模型综合了机器学习与统计学模型的优点,提高了模型的可解释性,提升了单一模型的预测准确性,并且能够度量模型预测结果的不确定性。Deep GLM的不足是,其采用了具有确定参数的简单前馈神经网络,参数的估计方法涉及复杂的高维矩阵运算,导致计算成本过高,且模型的预测结果也存在进一步优化的空间。本研究在Deep GLM的基础上,对Deep GLM中的神经网络结构以及参数的优化方法进行了改进,提出了基于MC Dropout算法的贝叶斯深度GLM模型,内容包括:(1)将Deep GLM中参数固定的全连接神经网络优化为贝叶斯神经网络。由于贝叶斯神经网络中的参数设定为随机变量,因而克服了Deep GLM由于使用参数固定的神经网络而导致的模型预测精度不高以及预测区间不够精确的问题。(2)使用MC Dropout算法优化模型的参数。简化了Deep GLM中复杂的高维度矩阵运算,提高了计算速度,减少了计算成本。实验表明,由于在优化的贝叶斯神经网络中引入了参数的随机性,并且运用了高效的MC Dropout算法,从而可以避免深层模型中的过拟合问题。并且,随着运行次数的增加,改进后的模型可以得到更加稳健的运行结果,从而可以提升模型的预测精度,同时可以更好地衡量模预测结果的不确定性。
其他文献
为了防治地下水污染,需要对污染物在多孔介质中的迁移做出预测。多孔介质关于污染物的吸附与解吸附作用影响了污染物的整体迁移规律,准确的吸附-解吸附模型将更有利于污染物迁移预测。本文通过对各类吸附模型的研究,验证了考虑吸附历史的非线性吸附模型(Bai模型)更符合实际情况,该模型考虑了多孔介质吸附能力的衰减现象,利用COMSOL Multiphysics(5.4)软件完成了数值模型的建立。通过理论分析与数
学位
当前我国的土壤污染问题日渐显著,为提高土壤质量需要对污染如土壤进行治理,而贝壳粉作为一种小粒径、碱性的材料,可以用作治理重金属污染物的吸附材料。本文研究了贝壳粉对重金属离子的吸附能力和吸附机理,同时分析贝壳粉在处理红土、石英砂中重金属污染物时渗流速度、重金属种类、贝壳粉添加量/浓度等因素对于吸附效果的影响。通过吸附动力学试验、吸附-解吸试验、微观电镜扫描、傅里叶变换红外光谱测试等手段对贝壳粉吸附镉
学位
《民法典》确立公序良俗原则,意味着既确认“习惯”“公序良俗”为民事法源,又确认“公序良俗”为习惯法源的是非标准,这一进步的历史意义在于承认民间社会生活自发生成的规矩秩序为民事补充法源,承认人民大众有集体无意识参与民事法源创制的权利。这既是从苏维埃法制理念向当代世界法治理念的升华,也是回归中华人文价值暨世界共同价值的升华。这一进步意义可以从公序良俗作为习惯法源之“宪法”、确立公序良俗原则的政治变革意
期刊
<正>2月17日,按照党中央和省委统一安排部署,山西省国资委党委召开2022年度民主生活会,会议以全面贯彻习近平新时代中国特色社会主义思想,深刻领悟“两个确立”的决定性意义,增强“四个意识”、坚定“四个自信”、做到“两个维护”,团结带领党员干部群众以奋发有为的精神贯彻落实党的二十大作出的重大决策部署为主题,
期刊
<正>风景园林建筑设计一直都是城市建筑设计的重点,将传统版画元素应用于风景园林建筑设计不仅能提升建筑物的魅力,而且有助于改善城市形象,促进当地旅游行业发展,进而带动经济发展。而版画是绘画的一种,讲究用刀或者化学物品在木板、石板等物品上进行雕刻或者蚀刻,以此创造出具有高度审美性的艺术作品。《传统文化语境下风景园林建筑设计的传承与创新》是由黄维著,东北师范大学出版社出版的书籍。该书从传统文化的角度出发
期刊
随着社会的发展和人们对生态环境和文化传承的关注逐渐增加,地域乡土植物在风景园林景观设计中的应用得到了广泛关注。越来越多的景观设计师在设计过程中开始注重选用本地乡土植物,将其融入景观中,以实现生态友好、文化传承和景观可持续性的目标。在风景园林景观设计中,充分应用地域乡土植物不仅能够融入当地自然环境,还能够体现地域特色,增强景观的可持续性和可塑性。本文主要探讨地域乡土植物在风景园林景观设计的应用方法。
期刊
随着非线性混沌理论描述现实经济现象的广泛应用,学者们认为非线性经济动态分析要优于均衡动态分析。因此经济活动的非线性相互作用在经济建模中得到重视,通过充分利用非线性动力学的混沌理论与方法,对经济系统的动态行为进行分析,非线性经济学由此得到发展。对于某一经济系统而言,稳定性可作为判断其优劣的标准之一。然而在经济领域中,当系统处于不稳定状态时,可能会导致混沌发生,这对多数系统而言是有害的。因此,如何控制
学位
蚁群算法在配电网故障区段定位中应用效果良好,但具有搜索时间长、计算速度慢等缺点,为此对蚁群算法进行了改进。首先构造了动态适应配电网拓扑结构的开关函数,其次提出了蚁群信息素初值设置方法,引入解的扰动规则,最后确定了蚁群算法应用于多电源条件下配电网故障区段定位的方法。算例结果验证了该算法在计算速度和容错性方面的优势。
期刊
麦肯锡讲过:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。”数据信息是否完备和充足直接关系到行业及业务的发展,可靠、准确、完整的数据能够提供准确、及时和系统的统计分析与决策,反之,数据的不完整或缺失会降低统计分析与决策的准确性,影响行业和产业发展,甚至会造成巨大的经济和社会损失。然而,在生产实践中,由于某些主、客观原因,不可避免的会造成一些数据缺失,影响数据的质量。对于缺失数
学位
在研究股票市场的波动情况时,除了综合分析影响股市的相关金融数据外,还可以借助于股评短文本数据加以考量。然而,由于受情感分析技术的限制,目前对股评文本数据分析主要是基于手工标注情感极性基础上再进行股市波动预测,存在时间长、成本高、利用股票实际数据不充分等方面的问题。基于此,本文提出了一种将股票历史数据与股评文本数据有机融合,通过建立股票涨跌“五极”情感分析模型与“专家”权重函数模型,对个股涨跌趋势进
学位