并行化广义EGO算法及其应用

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:shanwq1983
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
黑盒全局优化问题被广泛地应用于工业制造、农业、人工智能等诸多领域.针对这一问题,国内外学者提出了多种优化搜索算法,其中基于代理模型和序贯设计的贝叶斯优化方法近年来受到广泛关注,成为了研究热门领域.期望提升(EI)函数是贝叶斯优化中被广泛使用的采集函数,文献中称基于EI准则和高斯过程(GP)替代模型的贝叶斯优化方法为高效全局优化(EGO)算法.EGO算法综合了高斯过程模型中的预测期望和方差,并在正态假设下给出了计算表达式,有效提高了优化效率和精度,但它也有一定局限性,如:当目标函数输入维度较高时,算法无法很好地平衡局部挖掘和全局探索,容易陷入局部最优;另外原始的EGO算法在后续的序贯试验中使用的是单点迭代,这在很多情况下特别是当黑盒试验昂贵时,无法更有效地使用当前的并行计算资源.针对这个缺点,多点并行的EGO算法被提出以提高算法的计算效率.另外针对EGO算法易陷入局部最优值的情形,广义期望提升(GEI)方法被提出,通过引入平衡参数,使得算法能够更大可能地跳出局部子区域,更好地平衡局部挖掘和全局探索.本文结合GEI准则和多点并行算法,提出并行化的GEI贝叶斯优化算法(AGEGO).考虑到多点并行优化时需要对GEI函数进行多点采点,传统的直接优化GEI函数方法容易造成点集的聚集,失去空间填充性和代表性以及计算复杂度高的缺点,本文借鉴加速EGO算法的做法,引入重抽样算法,直接将GEI函数视为广义的概率函数,并在一个事先给定的空间填充设计上进行重要性采样重采样,这样获得的更新点集在具有较大GEI值的同时具有较好的空间填充性,且避开了复杂的GEI函数优化,具有三重优点.为探究各种黑盒优化算法的实际表现,本文对不同的优化方法进行了大量计算机模拟试验.发现在固定序贯试验迭代次数时,EI函数的表现均好于其他类型的采集函数,如概率提升(PI),置信上界(UCB)等;其次,GEI在很多情形下能获得比EI更好的结果;同时还比较了并行GEI算法和单点GEI算法的效率,在达到相同的优化精度时,并行GEI算法的效率远高于单点GEI算法.最后,本文将并行GEI算法应用于机器学习分类算法支持向量机的超参数调优中,并在四种不同的数据集上,比较了单点EI、单点GEI和并行GEI算法.首先,固定迭代次数,四种数据集结果都是GEI准则的交叉验证准确率高于EI准则,说明GEI准则能更好地平衡局部挖掘和全局搜索;其次,在不增加迭代次数的条件下,并行GEI算法能获得更好的全局最优结果;再者,发现可以少量增加并行点数以提高算法的运行效率,但需要注意的是并行点数的增加和提高的效率并不是成比例的,因此最好的并行点数应该视实际问题和运算能力而定;最后,分别对单点EI、单点GEI和并行GEI算法选择不同迭代次数进行优化,绘制分类准确率变化折线图,直观验证了GEI函数比EI函数优化效果好,并行GEI算法确实显著提高了优化效率.
其他文献
随着全球供应链和价值链的加速重构,我国要加快构建开放型经济新体制,尽快探索出一条符合我国基本国情,同时又能与国际经贸规则无缝衔接的高水平对外开放新机制。上海应在数字贸易与互联网开放、劳工标准、知识产权保护、中性产业政策等经贸规则的关键领域开展压力测试,为CPTPP规则谈判提供经验借鉴和参考依据,担负起引领我国新一轮高水平开放的历史任务。
期刊
在校的课程学习,往往是学生获取理论知识与掌握实践技能的基本途径,课程的架构指引学生学习的方向,课程的内容启发学生学习的思维。应用统计专业的课程主要教授统计学专业理论知识,培养学生运用统计方法解决实际问题的能力。本文从互联网企业的角度评价高校课程的实用性和受欢迎程度。在各大招聘网站上,互联网企业注明了职位的相关信息和具体要求,如专业背景、实践能力和项目经历。表面上这些文本信息是企业单位的用人需求,实
学位
作为政治哲学范畴的马克思主义政治哲学,它的特殊性显而易见。它始终代表着无产阶级的利益,为努力改变既定的现存社会和构建更加美好的社会,进而为实现无产阶级解放和人类解放而不懈奋斗。《共产党宣言》(以下简称《宣言》)作为无产阶级的第一个行动纲领文献,马克思和恩格斯提出用“自由联合体”代替资产阶级旧社会的方案,无不体现着马克思主义者对实现无产阶级解放和人类解放的科学谋划,对未来理想社会构建的伟大政治理想。
学位
在计算机通信技术迅猛发展的时代背景之下,我国支付领域发生了深刻的变革,依托于金融科技而产生的数字化支付方式极大地丰富了我国的支付体系。目前我国国内数字化支付所使用的交易媒介主要为商业银行电子货币、第三方支付机构电子货币以及近期尚处于试点工作中的数字人民币。这些数字化支付交易媒介会随着支付数字化的发展对流通中的现金形成大量替代,而且其影响范围也会涉及货币供给体系和货币创造机制等方面。因此,探讨数字化
学位
冯友兰创建新理学之初衷,是为了建构一个系统的方法论为中国传统人生哲学提供一个本体论基础。在建构过程中,他提出了两种方法,一是讲形式逻辑分析的正的方法,二是讲直觉主义的负的方法。文章从时代背景出发,以冯友兰的哲学思想变化为切入点,从思想的变化中,研究他对方法论的选择,其前期思想主要以实用主义为主,后期转向新实在论。实用主义给冯友兰奠定了以科学思维为基础的理性主义基调,新实在论为新理学提供了柏拉图式的
学位
<正>随着普通高中新课程标准的颁布,如何合理测评学科核心素养已成为我国基础教育改革和发展的重要议题。根据《普通高中历史课程标准(2017年版)》(以下简称新课标),历史学科的学业水平考试分为两类:一类是合格性考试,全体学生均须参加,以必修课程为考试内容,达到学业质量水平2;另一类是等级性考试,由学生根据报考高校要求和自身特长自主选择,以必修和选择性必修课程为考试内容,以学业质量
期刊
旅游作为一种新兴的产业,在新时期得到了迅猛发展。随着人们对于精神生活的追求越来越高,旅游越来越受人们的青睐,旅游与人们社会生活的融合程度也越来越高。因此,在新形势下加强旅游管理的现代化进程就成为一个十分重要的问题。本文分析了在目前信息化时代的发展大环境中,旅游管理信息化工作的内涵和机遇,提出促进旅游管理信息化建设的相关思考。
期刊
近年来,加速问题迅速成为学术界讨论的新兴话题。本质上说,现代社会表现为一个加速的状态。加速贯穿在政治、经济、文化等多个领域,展现出一系列速度景象可以说已经成为一种不可忽视的现象。作为法兰克福学派第四代具有代表性的人物,哈特穆特·罗萨整理了各种社会速度研究成果进而提出了自己的速度批判理论,为社会速度研究做出了重要的贡献并在此基础上复兴社会批判理论传统。作为马克思异化思想与法兰克福学派传统批判理论思想
学位
随着科学技术的不断发展以及相关研究的深入,优化问题也愈来愈复杂.有一类重要的优化问题仅能通过试验(通常为计算机试验)获得输入、输出数据,而输入与输出之间的函数关系没有显示表达式,甚至完全未知,也被称作黑箱子优化问题.常用的黑箱子优化算法有很多,如网格搜索、随机搜索、超拉丁方抽样等经典的批量采样优化算法,以及贝叶斯优化算法、群体优化算法、序贯均匀设计方法.网格搜索操作简单但在高维问题上表现不佳;随机
学位
伴随移动互联网技术的快速发展,大数据、云计算、全球定位技术等得到了广泛应用,由此产生了海量的时空轨迹数据,基于位置的互联网服务如雨后春笋般涌现出来。大量移动终端用户对基于位置服务的各式需求,交通工具的增加带来交通拥堵、资源调配等交通负荷问题层出不穷。近年来受新冠疫情的影响,时空伴随者的及时管控对早期疫情防控而言具有重要意义,通过感染者时空轨迹数据的聚类研究,快速有效识别潜在感染者的时空高密度聚集点
学位