基于改进粒子群算法的超参数优化问题的研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:muzhe8835
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算、移动互联网的快速发展,大数据时代正在来临,数据对任何行业都至关重要。在数据决定研究问题上限的基础上,如何高效地利用算法去逼近这个上限是所有科研人员关注的问题。机器学习方法可以快速、有效地从海量数据中获取潜在信息,在这方面表现较为突出的是深度学习方法,它在海量数据面前表现出了强大的运算能力。在使用机器学习算法前,需要事先配置好模型的超参数,在同一问题上,不同超参数配置的模型的表现能力往往差别较大。在大型机器学习算法兴起之前,人们大多依靠经验手动的对模型的超参数进行调整,但随着模型日益复杂,这种方法显然已不能满足需求。基于此,本文围绕超参数优化问题展开研究,提出了基于改进粒子群算法的超参数优化方法。本文主要工作如下:(1)提出了一种基于离散二进制粒子群算法的超参数优化方法,简称BPSO。该方法模拟自然界中鸟群觅食的行为,并采用启发式的搜索思想来寻找最优解。经典的粒子群算法多适用于连续空间的优化问题,而常用的机器学习模型的超参数多为离散变量,本文结合超参数属性特点,提出了BPSO算法。在BPSO算法中,采用二进制编码方式对粒子位置进行编码,并结合粒子速度信息搜索超参数。实验证明,不管是对四个基准测试函数还是对神经网络、随机森林模型,本方法的处理结果优于遗传算法和随机搜索方法。(2)提出了一种基于密母算法的超参数优化方法,简称MA。考虑到上文BPSO算法在优化超参数时,可能出现陷入局部最优点的情况,提出了MA算法。相较于基本的进化方法,密母算法在进化过程中加入了局部搜索策略,提高了算法的搜索能力,从而有效避免解陷入局部最优,MA算法中的局部搜索使用了上文提出的BPSO方法。为了验证算法的有效性,将本算法与上文使用的超参数优化方法在四个测试函数和MINIST手写体数据集上进行实验比较。实验证明不管是算法收敛速度还是得到的最优值,本章提出的方法表现都较为理想,优化的模型也最为稳定。(3)针对现有合成孔径雷达(Synthetic Aperture Radar,SAR)图像分类任务都是依靠手动进行参数调整的现状,将超参数优化的思想应用到SAR图像分类中,提出了一种基于量子粒子群算法的超参数优化方法。该方法优化用于处理SAR图像分类任务的卷积神经网络的超参数,并通过分类准确率来评估算法性能。实验表明,经过手动调参和超参优化的卷积网络在SAR图像分类问题上表现相差较大,经过超参优化后的卷积网络的泛化能力更强,SAR图像分类的准确率更高。
其他文献
简单介绍了世界锂矿资源的概况和常用的提锂方法。论述了各锂业大国的提锂工艺及我国锂业开发进展。特别介绍了我国近几年开发成功的提锂方法,并结合我国锂矿资源特点,对我国锂
随着人们生活水平的提高,食品安全问题受到广泛的重视,食品检测方法成为近年来食品质量控制中的研究热点。近红外光谱分析技术凭借快速、无损、方便可靠等优点,在食品检测领
随着社会的进步和互联网技术的发展,网络互动发展到了圈群化的模式,这种网络圈群模式极快的拓展了交流的空间,丰富了交流的内容,迎合了网民的需求。在大学校园里网络圈群迅速
<正>从纳粹战犯到巴勒斯坦领导人,以色列立国以来,其情报机构摩萨德的"暗杀名单"不断延长。他们把暗杀发展成了一门学问,善恶的界限也在复仇之火的炙烤下渐渐模糊。在中东这
以色列情报机构“摩萨德”,以精确的暗杀和强大的情报搜集能力闻名于世。前不久,在以色列针对哈马斯等武装组织领导人的“定点清除”行动中,以色列情报机构异常活跃,屡屡制
伴随科技的飞速发展,许多企业面临着信息化建设,作为企业核心的人力资源,合理的信息化建设对企业的发展至关重要。针对这一问题,提出并设计了基于Delphi与Access的人力资源信息管
介绍了1999年之后尤其是近5年新疆煤炭工业结构调整和兼并重组的基本情况和存在的问题,提出了进一步推进煤炭产业结构优化升级的原则和目标、范围、途径以及模式,并提出了新
高校艺术类专业理论课程在艺术教育体系中是一门非常重要的课程,但是在当前艺术类高校开设的艺术类专业理论课程情况来看,高校艺术类专业理论课程的教学效果并不理想,高校艺
为了提高国家的综合国力,大力发展海洋经济与国防势在必行,而海洋航行体在这发展战略中扮演着极其重要的角色。减小航行体在运动过程中的流体阻力,可以有效增加其航行速度、
我国正全面开展对地方债务的审计。其中,地方融资过于依赖政府融资平台模式的弊端充分暴露。这种模式由于融资渠道较窄、融资能力有限,不仅容易积聚金融风险,也成为推进新型城镇
会议