极限学习机是一种崭新的针对单隐含层前馈型神经网络的训练方法,不同于基于误差反传策略的传统神经网络训练,极限学习机避免了迭代式的参数调整,因此获得了极快的训练速度。同时,万能逼近定理在理论上保证了极限学习机的收敛性。但由于其输入层连接权重与隐含层节点偏置的随机初始化,在为极限学习机带来极大的训练速度提升的同时,也引入了学习参数的随机性,最终影响了其泛化表现与稳定性。此外,如何挑选最优的隐含层节点个数对于极限学习机的泛化性能有着重要的影响,当设置过多的隐含层节点时,随机映射会产生冗余、不相关的隐含层节点,网络复杂度的提升也增加了模型过拟合的风险,设置过少的隐含层节点则会使得模型无法拟合到样本数据的真实分布。在改进极限学习机泛化能力的研究工作中,极限学习机的集成学习是最具有代表性的方法之一,对极限学习机的理论研究以及应用拓展有着重要的意义。本文研究了基于梯度提升策略的极限学习机集成方法,分别提出了梯度提升极限学习机(GBELM)与随机梯度提升极限学习机(SGB-ELM)两种集成学习方法。首先本文从基本的梯度提升机制出发,详细描述了通过梯度提升方法构建集成学习器的迭代步骤。为了控制过拟合问题,本文并没有将梯度提升集成思想与极限学习机模型进行简单地直接融合,而是提出了一种改进的训练方法来构建一个弱极限学习机集成序列。具体表现在:首先设计了一个带惩罚项的目标函数,惩罚项用于控制集成学习器的模型复杂度,通过二阶优化方法推导得出了每个弱极限学习机输出层权重的优化准则;接着本文使用训练集样本的伪残差来拟合每一轮新引入的基学习器,得到了每个弱极限学习机的初始输出层权重,并将其作为优化准则的启发项;最后使用优化准则对初始输出层权重进行迭代更新,得到了每轮新引入的弱极限学习机的最优输出层权重,从而依次构建出弱极限学习机序列,并融合得到最终的集成学习器。针对原始的梯度提升机制在每一轮训练迭代中使用所有的训练样本来拟合下一个弱学习器,在提升训练时间复杂度的同时也增加了模型过拟合的风险,本文在GBELM算法的训练过程中引入了随机性,并进一步提出了SGB-ELM算法,即在每一轮的训练迭代中,使用一个随机采样的数据子集来训练下一轮的基学习器,而非整个初始训练集,SGB-ELM算法在增加参数扰动的同时引入了样本扰动,进一步提高了集成模型中基学习器之间的多样性。本文详细地描述了两种集成学习方法中输出层权重优化准则的推导过程,并给出了GBELM与SGB-ELM两种算法的整体训练流程与迭代步骤。本文分别在回归与分类基准数据集上对提出的两种极限学习机集成方法的可行性及有效性进行了实验验证,实验结果表明:两种方法在显著提升ELM泛化性能的同时也展现出了很强的鲁棒性,与已有的多种经典ELM集成方法进行实验对比,GBELM与SGB-ELM取得了更加优异的泛化表现与稳定性。