【摘 要】
:
对于计算成本高昂的黑箱子优化问题,高效全局优化(efficient global optimiza-tion,简称EGO)算法是一个广为流行的序贯试验设计方法.该算法通过每次迭代建立代理模型,最大化
论文部分内容阅读
对于计算成本高昂的黑箱子优化问题,高效全局优化(efficient global optimiza-tion,简称EGO)算法是一个广为流行的序贯试验设计方法.该算法通过每次迭代建立代理模型,最大化提高的期望(expected improvement,简称EI)准则来序贯更新试验点.在试验设计领域,序贯数论方法(sequential number-theoretic method for optimization,简称SNTO),或者称为序贯均匀设计,是一种基于区域压缩思想的全局最优值搜索策略.该算法通过在试验区域内散布一系列的低偏差数论网格或者均匀设计点集,来迭代寻找全局最优值.EGO算法存在一个普遍承认的缺点,即其每次迭代时只更新一个试验点,造成建模资源的浪费.因此学者们提出了一类被称为并行化EGO的算法,该类算法在每次迭代时同时更新多个试验点.然而,如何同时快速获得这些新增试验点成为了另一个棘手的问题.基于此,本文提出了一种不仅能够实现EGO的并行化,还能够减轻同时得到多个更新试验点的计算负担的算法.该算法通过利用随机化拟重要性采样的方法来快速寻找多个具有较大EI值的试验点,故称之为“加速的EGO”(Accelerated EGO)算法.对于SNTO算法,最明显的不足之处在于搜索过程中没有建立代理模型,试验点的信息没有被深度地挖掘;并且在子试验区域内已经存在的试验点被完全丢弃了.本文结合SNTO和代理模型的思想,提出了一个新的全局优化算法—EI准则帮助下的SNTO(EI-assisted SNTO)算法.在该算法中,最大化提高的期望准则被用来确定压缩区域的中心;并且基于建立的代理模型,提出了一种利用重要性抽样原理的增补设计来更新每次迭代的试验点,使得该算法能够适用于计算成本高昂的黑箱子优化问题.所提算法的优化性能被几个经典的不同维数的全局优化检验函数验证了.模拟结果表明加速的EGO算法确实能够实现原始EGO算法的并行化,并且和经典的并行化EGO算法—Constant Liar相比较,加速的EGO算法优化能力较好,尤其在高维试验空间.同时,模拟结果还表明EI准则帮助下的SNTO算法比原始SNTO算法减少了很多试验点,并且和其他基于EI准则的算法相比,其在低维空间中优化能力较好.另外,本文将这些全局优化算法应用到机器学习超参数优化领域,通过支持向量机(SVM)模型的调参,比较了各个优化算法在该领域的优化能力.同时,通过XGBoost算法展现了超参数优化的具体流程.结果表明,加速的EGO算法和EI准则帮助下的SNTO算法适用于超参数优化,并均能在该领域取得较好的表现.
其他文献
随着科学技术的不断进步,迅速发展的物联网行业正时刻产生着大量数据,其中一个很重要的组成部分即为时间序列数据。时间序列数据为按时间排序的一连串观察数据的集合(例如心电图,一天的天气,每周的销售额和每月股票价格等),针对时间序的实时数据挖掘是数据中心的一个重要任务。时间序列数据有数据量大,维度高和数据更新频率快三个特点,这些大量的时间序列数据负载给数据中心的数据挖掘任务带来了全新的挑战。距离函数作为不
超短脉冲的快速发展给相关科学研究带来了重大影响,它使人们能够观察到自然界中更快的现象,在光纤通信与传感、激光微加工、精密测量、数据存储、生物成像以及国防军事等领域具有重要应用。锁模光纤激光器是产生超短脉冲的有效途径,而可饱和吸收技术是实现锁模脉冲输出的关键手段之一。本论文主要基于硫化铅(PbS)量子点和石墨烯制备损伤阈值高、恢复时间快、调制深度大的可饱和吸收体,实现高性能超短脉冲光纤激光输出。主要
禽流感(Avian influenza,AI)是由禽流感病毒(AIV)引起的一种危害极大的禽类传染病,该病的流行给全世界的养禽业带来了巨大的损失,19世纪曾发生过鸡群的大量死亡,后来科学家将这种疾病称为禽流感。随着禽流感的流行,现在禽流感病毒(AIV)已经出现了很多种亚型,其中H9N2亚型是其中的一种低致病性的亚型病毒,在漫长的时间里,H9N2已经是较流行的禽流感病毒的亚型之一,所以如何预防禽流感
随着我国的市场经济不断的持续发展,资本的流通尤其是金融方面的流通,较以往的频度有所增加,民间的经济形式也逐渐出现了创新,而且逐渐趋向于繁荣。而传统方面的金融机构,就
移动通信快速发展,多样化的业务需求、超密集组网与超高移动性支持、多网共存带来的互操作的复杂与低效对目前的网络架构提出了巨大的挑战。云接入网(C-RAN)作为新型的无线接入
CuCGA作为一种常见的微电子封装器件,应用于众多领域。传统的CuCGA器件借助于植柱模具实现定位互连,本论文采用一种新的连接方法,利用高精度微型台钻在纯铜柱和SAC305钎料球
经济社会的高速发展推动了现代化工业的大规模升级,却也在一定程度上加剧了环境安全危机,多米诺效应是不容忽视的主要威胁之一。早期多米诺效应研究较少,一般的风险评价只关
浙西南遂昌-大柘地区出露的八都岩群是华夏地块内已知的变质程度最高,年代最为古老的变质基底。在印支期变质事件影响下,大部分岩石发生了变质和变形,前人对八都岩群的变质作用和构造变形分别进行了系统的研究,但有关构造变形和变质作用之间关系的研究还需深入,这对于探讨该期变质事件的大地构造环境具有重要意义。因此,本文通过详细的野外地质调查及实地剖面测量,结合研究区八都岩群岩石野外露头特征,在划分构造变形序列的
义务教育阶段的薄弱学校是我国经济社会和教育发展不充分不平衡的表现之一,薄弱学校的出现和存在限制了我国教育优质均衡发展,妨碍了教育公平的实现,拉低了基础教育阶段教育
目前,食源性致病菌依然是危害公共卫生的一大因素,已经引起社会各界的广泛重视,金葡菌就是最为常见的食源性致病菌之一。黏附是宿主中致病菌定植和感染的第一步,被认为是重要的威胁因素之一。通常认为益生菌可以通过空间位阻抑制致病菌的黏附并减少其在体内的积累。然而,有研究表明,一些乳杆菌能促进致病菌黏附,有人认为这可能是因为益生菌一方面与肠道黏附,另一方面与致病菌黏附,但具体机制尚不清楚。因此本研究采用前期筛