现实世界中的计算系统经常遇到连续信息流的运算,这种情况要求模型能够随着时间的流逝而适应和学习。传统的机器学习方法所构建的静态模型,无法随时间推移来改变或扩展其行为,而终身学习试图通过让模型保留已经获得的知识,并将其用于将来的学习,使模型的学习过程更接近于人类的学习方式。如何保留和利用过去的知识是终身学习的重要难点,具体而言,终身学习需要解决灾难性遗忘问题,即避免模型在新任务训练期间几乎完全失去先前任务的知识。基于生成模型的数据重现是解决这一问题的主要方法之一,该方法利用生成模型生成代表旧任务的伪数据,并将其与新任务数据混合用于训练模型。本文工作主要改进分类任务下这一方法中的模型训练效果,具体内容如下:（1）本文工作提出正交风格损失作为生成模型训练过程中的正则项,提高了模型的学习能力。如何充分利用旧模型所学到的旧任务数据中的知识是提高模型训练效果的关键问题之一,这个问题分为两个难点:如何表达旧模型学到的知识以及如何将其用于新生成模型的训练。本文工作提出的方法通过将旧模型在数据上提取的特征作为知识的表达来解决第一个难点,再将其用于构造新生成模型训练过程中的正则项来解决第二个难点。正交风格损失即为该正则项,其体现了新旧生成模型生成的不同旧任务伪数据经过同一个旧模型所提取出来的抽象特征的差异,而最小化这个差异可以使新生成模型更快学习旧任务知识。（2）本文工作利用新旧分类模型之间的知识蒸馏让新模型更高效的学习旧任务数据中的类别分布,提高了分类模型的训练效果。如何将分类模型所学到的旧任务数据类别分布应用到新分类模型的训练中是提高模型训练效果的另一关键问题。针对此问题,本文将知识蒸馏方法应用于新模型在旧任务伪数据中的训练,从而让新模型更快速得掌握旧任务数据的类别分布。（3）本文工作将条件生成对抗网络的一种变体（ACGAN）应用到模型的结构设计上,解决了模型训练中数据类别不平衡的问题并减少了模型参数。在基于生成模型的传统方法中,无法指定模型生成的数据类别,由此导致数据类别不平衡问题。本文工作将模型扩展为ACGAN。一方面,ACGAN的训练方法为模型提供了类别标签来生成对应类别的样本,即拥有传统的条件生成模型的优点从而有效解决了类别不平衡问题;另一方面,本文工作充分利用分类模型,将其作为ACGAN训练生成模型所需要的辅助分类器,减少了模型参数量。（4）本文工作完成了上述各模型的实验,证实了各模型的有效性。