随着人工智能技术的发展,在许多任务中,以神经网络为代表的机器学习模型已经表现出接近甚至超越人类水平的性能。但是,此模型通常是无法扩展其“功能”的静态模型。每当有新数据出现需要进行训练时,模型就需要使用全部数据重新开始训练。在现实世界中,这种做法在部分应用场景中会变得非常棘手。由于存储限制或隐私问题,很多数据可能会在给定时间后就会消失,甚至根本无法存储,这使得神经网络能够随着时间的推移进行适应和更新至关重要。单独使用新数据训练原本模型会造成模型对旧知识的“灾难性遗忘”,增量学习技术旨在缓解模型持续学习过程中的“灾难性遗忘”。结合现有增量学习方法中的正则化方法,我们分别提出了适用于神经网络图像分类和语义分割的类别增量学习方法,具体研究内容如下:首先,本文对图像分类的神经网络模型进行数学建模,借用递归最小二乘法的思想来近似神经网络的训练过程。本文提出特征空间约束算法,改变特征空间中参数更新方向,使得新数据训练时尽可能少地影响旧知识。该算法将增量训练中发生的计算分为任务间训练和任务内训练,任务间训练会借助矩阵迭代记录输入数据变化,任务内训练时可以使用先前任务间训练产生的矩阵得到投影矩阵,借助投影矩阵来改变新数据学习过程中的梯度方向。此外,针对类别增量学习中出现的新旧类别数量不平衡问题,本文提出自适应损失权重,用来平衡学习新数据所产生的梯度和保护旧知识的知识蒸馏梯度之间的比值。实验结果表明,在不使用旧数据的前提下,该方法优于部分现有的类别增量学习方法。其次,本文总结了图像分类的类别增量学习方法不适用于类别增量的语义分割任务的原因:一是语义分割中存在背景类别,二是两者网络架构不同。因此可以使用改进后的知识蒸馏损失函数计算损失,并使用背景参数初始化新类别参数,利用背景类别帮助学习新类别。该算法在新数据训练阶段使用特征参数约束算法约束语义分割网络解码器部分参数的更新,使用特征图蒸馏算法保护编码器部分特征。实验结果表明,该方法可以有效缓解类别增量语义分割任务中的“灾难性遗忘”现象。综上所述,本文所提出的适用于图像分类和语义分割的类别增量学习算法可以有效缓解模型持续学习过程中出现的“灾难性遗忘”现象,并且本文方法都不需要在新数据训练过程中使用旧数据。