论文部分内容阅读
机器学习是当今大数据时代的核心研究方向,机器学习的研究成果被广泛应用到模式识别、计算机视觉、数据挖掘、控制论等领域当中,并渗透到人们日常生活的方方面面当中。而在机器学习的研究当中,分类器的研究占据着举足轻重的地位,绝大部分的实际问题都可以转换成一个分类问题,分类器的性能往往是一个应用成果与否的关键。挖掘分类器,如支持向量机(SVM)、adaboost、极限学习机(ELM)等,的潜力已经成为了当今机器学习的主流研究方向。本文的主要研究内容是极限学习机的潜力挖掘。极限学习机是从单隐藏层的神经网络发展而来,并具有易于实现,速度快,泛化能力强等特点,而成为广大学者的研究对象。本文通过对极限学习机的研究,针对极限学习机理论和应用上的缺陷,提出了三个极限学习机的变种,改善了极限学习机的性能,拓宽了极限学习机的应用。本论文主要完成了下列工作:(1)在多输入对多输出的回归问题中,极限学习机只考虑输入空间各个维度之间的结构化信息而忽略输出空间的结构化信息。针对这一弱点,本文提出了输出空间嵌入式极限学习机,将输出空间中各个维度之间的结构化信息“嵌入”极限学习机的神经网络中,从而提高极限学习机在多输入对多输出的回归问题的准确率。(2)针对极限学习机缺乏有效的训练方法这一弱点,本文提出了分布最优化的极限学习机。该算法将输入权重和隐藏层偏置进行含有待定参数的编码,利用现有的基于梯度的优化算法优化待定参数,从而得到输入权重和隐藏层偏置的最优分布,并提高极限学习机的准确率。(3)目前极限学习机缺乏分布式的实施方法,对于大数据问题力不从心。特别对大数据分布在网络中不同节点,每个节点拥有自己的私密数据这类应用更加束手无策。本文针对这一弱点,将交替方向乘子法(ADMM)应用到极限学习机的实现当中,提出了协同分布式极限学习机,拓宽了极限学习机在大数据时代的应用。上述研究成果,具有一定的前瞻性和挑战性。本文在理论分析上取得一些突破,在技术实现上具有一些创新,为挖掘极限学习的潜力和拓宽极限学习机中的应用提供了新的思路,具有重要的理论意义及实用价值。