论文部分内容阅读
随着机器学习研究的不断发展,研究人员设计研究出来的算法种类也越来越繁杂,然而这些算法在运用的过程中都会遇到参数选择和优化问题。例如:特征子集的筛选、初始化参数的选取、训练中的参数确定等等问题。研究人员针对这些问题也做了许多的研究,并提出了一些参数选择和优化方法,当然,在这些方法中有优点也有缺点。其中的一种方法就是将群体智能算法引入到解决这类问题之中,并巧妙地利用群体智能算法的自动寻优策略解决参数选择和优化问题。完成的主要研究工作如下:首先通过研究群体智能算法的理论知识和发展动向,以及现阶段比较流行和新颖的算法。通过对比已有群体智能算法,选择了研究一种相对比较新颖而且简单的算法—樽海鞘群算法(Salp Swarm Algorithm,SSA)。经过研究发现这一算法存在着收敛速度过慢、易陷入局部最优的问题。需要在算法中增加一种加快收敛速度和跳出局部最优的机制,为此,提出了以Levy飞行策略初始随机以及条件化更新的改进樽海鞘群算法(Levy Flight-based Conditional Updating Salp Swarm Algorithm,LECUSSA)。该算法首先采用Levy飞行步长的随机变化调整领导者的位置更新,使其能跳出局部最优;其次,对追随者的位置采用有条件的更新。经过研究发现另一种改进方式增加高斯扰动权重(the Improved Gaussian Disturbance Weighted Salp Swarm Algorithm,GDWSSA)。该算法通过对每次追随者位置更新结束之后进行高斯扰动,进而增进了算法的随机程度,使得其性能得到提升。实验结果表明,在基准函数实验中,改进后的算法两种算法无论是获得的全局最优值还是收敛速度方面都优于比较的其它算法。因此,算法的改进策略加快了算法的收敛速度,也增强了算法对最优解的搜索能力。其次,将群体智能算法应用于机器学习算法优化领域。将樽海鞘群算法与机器学习算法结合分为两个方面:第一,用于数据集的特征子集筛选。樽海鞘群算法通过设置目标点坐标的二元化,将其视作特征子集筛选的工具,对UCI数据集进行特征选择。再将经过特征选择的数据集用支持向量机(SVM)做分类实验。结果表明,通过樽海鞘群算法筛选机制得到的特征子集与SSA和PSO相比,SVM的分类性能提升更多。第二,用于核极限学习机(KELM)初始参数的确定。设置樽海鞘群算法的搜索维度和取值范围,将算法的搜索目标设为KELM的两个关键参数,从而得到樽海鞘群算法和KELM结合的新模型。最后,并将上述获得的樽海鞘群算法和KELM结合的新模型应用于气象预测中,预测每天的平均气温、最高气温和最低气温。实验结果表明,该模型的预测准确度远远高于其他对比算法。