论文部分内容阅读
随着云计算、移动互联网的快速发展,大数据时代正在来临,数据对任何行业都至关重要。在数据决定研究问题上限的基础上,如何高效地利用算法去逼近这个上限是所有科研人员关注的问题。机器学习方法可以快速、有效地从海量数据中获取潜在信息,在这方面表现较为突出的是深度学习方法,它在海量数据面前表现出了强大的运算能力。在使用机器学习算法前,需要事先配置好模型的超参数,在同一问题上,不同超参数配置的模型的表现能力往往差别较大。在大型机器学习算法兴起之前,人们大多依靠经验手动的对模型的超参数进行调整,但随着模型日益复杂,这种方法显然已不能满足需求。基于此,本文围绕超参数优化问题展开研究,提出了基于改进粒子群算法的超参数优化方法。本文主要工作如下:(1)提出了一种基于离散二进制粒子群算法的超参数优化方法,简称BPSO。该方法模拟自然界中鸟群觅食的行为,并采用启发式的搜索思想来寻找最优解。经典的粒子群算法多适用于连续空间的优化问题,而常用的机器学习模型的超参数多为离散变量,本文结合超参数属性特点,提出了BPSO算法。在BPSO算法中,采用二进制编码方式对粒子位置进行编码,并结合粒子速度信息搜索超参数。实验证明,不管是对四个基准测试函数还是对神经网络、随机森林模型,本方法的处理结果优于遗传算法和随机搜索方法。(2)提出了一种基于密母算法的超参数优化方法,简称MA。考虑到上文BPSO算法在优化超参数时,可能出现陷入局部最优点的情况,提出了MA算法。相较于基本的进化方法,密母算法在进化过程中加入了局部搜索策略,提高了算法的搜索能力,从而有效避免解陷入局部最优,MA算法中的局部搜索使用了上文提出的BPSO方法。为了验证算法的有效性,将本算法与上文使用的超参数优化方法在四个测试函数和MINIST手写体数据集上进行实验比较。实验证明不管是算法收敛速度还是得到的最优值,本章提出的方法表现都较为理想,优化的模型也最为稳定。(3)针对现有合成孔径雷达(Synthetic Aperture Radar,SAR)图像分类任务都是依靠手动进行参数调整的现状,将超参数优化的思想应用到SAR图像分类中,提出了一种基于量子粒子群算法的超参数优化方法。该方法优化用于处理SAR图像分类任务的卷积神经网络的超参数,并通过分类准确率来评估算法性能。实验表明,经过手动调参和超参优化的卷积网络在SAR图像分类问题上表现相差较大,经过超参优化后的卷积网络的泛化能力更强,SAR图像分类的准确率更高。