近年来,数字化信息爆炸式增长,如何高效快速采集、处理、分析有效信息成为社会关注热点。人工神经网络凭借强大的数据处理能力成为众多学者研究的对象。与此同时,各种机器学习算法纷纷涌现。在线顺序超限学习机是一种快速准确的在线顺序学习算法,属于单隐层前馈神经网络的一种,它可以逐个学习数据,也可以学习具有固定或者大小变化的数据块。其输入权重和偏置都是随机生成的,不需要迭代,并且可以只学习没有接受训练的新数据,因此和基于梯度下降法的算法,例如反向传播算法、支持向量机等相比大大缩短了训练时间,且准确率也有所提高。然而,在线顺序超限学习机在某些方面仍旧存有不足。为了解决单个在线超限学习机处理数据分类的问题效果欠佳、硬件电路实现困难、随机产生的输入权重和偏置分布不均匀、以及对实验对象的特征获取不足等问题。本文对在线顺序超限学习机算法进行了深入研究,首先,提出一种基于交叉验证的集成在线顺序超限学习机,弥补单个在线顺序超限学习机处理分类问题的不足;其次通过推算,提出一种基于忆阻器的新类型的激活函数,并将其应用到在线顺序超限学习机中,为硬件实现提供可能;再次,将原始直接生成学习参数的方式改为分段随机生成,增强了学习参数的随机性;最后,利用在线顺序超限学习机的逼近能力构造稀疏自动编码器,来解决由于结构简单造成的复杂特征获取不完全的问题。本文主要工作和创新点如下:(1)由于单个在线顺序超限学习机结构简单、稳定性差等问题,将交叉验证和集成学习两种思想引入在线顺序超限学习机当中,将交叉验证的方法用于学习参数的选择,另外,将集成学习方法用于增加系统稳定性。并且在K折交叉验证的基础上提出了分层交叉验证,从而更好的解决不平衡数据的分类问题,减少过拟合和欠拟合现象,取得理想的数据分类结果。(2)利用忆阻器的忆阻值和电荷之间的关系实现一种新的激活函数,即忆阻激活函数。同时改变输入权重和偏置的随机赋值方式,将这些学习参数先分段再随机,将几个小矩阵随机打乱再组合的矩阵作为最终的输入权重和偏置矩阵。用这两种方法使算法的硬件电路实现成为可能,而且通过增加学习参数的随机性提高了系统的稳定性。(3)由于其较浅的体系结构,造成即使系统具有大量隐藏节点,在线顺序超限学习机对复杂信号特征提取依旧不理想,因此,提出了一个新的多层感知器的学习框架;其中,提出隐藏层框架以前瞻性方式进行培训。所谓前瞻方式,就是当前层的参数是由上一层决定的,只要上一层建立完成,下一层学习参数当即固定,并且不需要调整。因此,它具有更好的特征学习能力。