随着网络的发展,许多应用领域获取新的数据变得很容易。但是对于传统的批量学习技术来说,如何从日益增加的新数据中得到有用信息是一个难题。随着数据规模的不断增加,对时间和空间的需求也会迅速增加,最终会导致学习的速度赶不上数据更新的速度。机器学习是一个解决此问题的有效方法。然而传统的机器学习是批量学习方式,需要在进行学习之前,准备好所有的数据。为了能满足在线学习的需求,需要抛弃以前的学习结果,重新训练和学习,这对时间和空间的需求都很高,因此,迫切需要研究增量学习方法,可以渐进的进行知识更新,且能修正和加强以前的知识,使得更新后的知识能适应新增加的数据。本文分别对奇异值分解和模糊神经网络的增量学习进行了深入地研究和探讨,主要工作及贡献如下：1.提出无协方差的增量奇异值分解传统的奇异值分解(Singular Value Decomposition:SVD)采用批量计算方法,需要在计算之前将所有数据准备好,因此无法满足在线处理需求。本文提出了一种无协方差奇异值分解(Candid Covariance Incremental Singular Value Decomposition:CCISVD)方法。该方法通过当前样本估计样本协方差阵,提出了从顺序到达的样本中增量求取协方差阵的第一个特征向量的方法,从而避免了样本协方差阵的求解,从理论和直观上分析了该方法的可行性。在求解其他特征值的过程中,从当前估计的特征向量的补空间中寻找样本,从而始终保证了求取的特征向量的正交性,节约了时间和空间成本。2.提出免修剪连续增量学习模糊神经网络模型模糊神经网络的结构识别很耗时。为了避免产生冗余规则,通过把修剪策略引入模糊规则的增加过程来提高学习效率,本文提出一种免修剪增量连续学习算法,利用误差下降率,来定义规则对系统的输出贡献,作为规则的增长标准,从而在规则的增长过程中避免产生冗余规则。同时,由于计算规则对系统的输出贡献是根据当前输入数据,从而实现了增量学习。3.提出优化修剪的增量极速学习模糊神经网络算法ELM (Extreme Learning Machine)是为训练单层前馈人工神经网络(Singular Layer Fuzzy Neural, SLFNs)的一个简单而有效的学习算法,该网络的神经元随机产生。理论和实验都表明ELM准确而快速。为了能实现在线增量学习,本文对ELM进行了扩展。该算法中,模糊规则的前件参数和初始规则数量随机产生,然后使用SVD对规则按照重要性排序,通过留一法(Leave-One-Out:LOO)选择出最佳的模糊规则数,最后模糊规则的后件参数通过基于风险最小化分析计算得出。仿真实验结果表明,与其他算法相比有较好的鲁棒性,在准确率和计算速度上都具有优势。4.提出基于规则影响的自适应增量模糊神经网络模型在模糊神经网络中,一个模糊规则可能初始时比较活跃,之后慢慢变得对系统的贡献很小。本文提出一种基于规则影响的增量学习模糊神经网络(Self Adaptive Incremental Learning-Fuzzy Neural Network),引入模糊规则影响的概念,基于当前数据计算模糊规则对系统输出的影响,作为模糊规则增长或删除的标准。并且将规则的增长标准同系统的准确性联系起来,只有该模糊规则对系统的贡献值大于某个阈值,才考虑增加一条新规则,同时还检测已有规则库中规则对系统的影响值,如果低于某个阈值,说明该规则已经变得不再活跃,则删除该规则。无论是新增规则还是已有规则都通过扩展的卡尔曼算法更新参数。通过仿真实验表明该方法能获得比其他高代价的技术更简单的结构、更短的训练时间和较好的泛化性能。5.基于增量模糊神经网络和小波的人脸识别为了能提高样本质量从而提高识别准确率,本文提出一种新的提取人脸图像特征的方法。首先使用Harr小波对人脸进行分解,小波变换后的高频部分是人脸很重要的特征,这部分将作为人脸特征向量保存起来。然后使用Fisher线性鉴别分析(Fisher Linear Discriminant,FLD)对低频子图进行再次降维。降维后的向量和保存的高频部分特征向量连合起来作为模糊神经网络的训练样本,使用本文提出的自适应增量模糊神经网络学习算法训练网络。仿真实验表明,这种经过预处理后学习的模糊神经网络,其识别率高于不使用Harr做预处理的网络。