【摘 要】
:
深度网络在各种任务上都显示出了强大的力量,被认为是一种潜在的实现通用人工智能的机器学习架构。然而,深度网络学习的典型模式是:给出一组固定的训练数据集,网络通过学习获得任务相关知识,当学习任务完成后,网络就会直接应用到具体的任务中,而不需要再学习新的知识。这种学习模式所建立的模型是静态的,难以适应不断变化的现实任务需求。深度网络迫切需要一种增量学习方法,能够促使模型从连续呈现的数据流中动态地学习新知
论文部分内容阅读
深度网络在各种任务上都显示出了强大的力量,被认为是一种潜在的实现通用人工智能的机器学习架构。然而,深度网络学习的典型模式是:给出一组固定的训练数据集,网络通过学习获得任务相关知识,当学习任务完成后,网络就会直接应用到具体的任务中,而不需要再学习新的知识。这种学习模式所建立的模型是静态的,难以适应不断变化的现实任务需求。深度网络迫切需要一种增量学习方法,能够促使模型从连续呈现的数据流中动态地学习新知识,同时保留已经学习到的知识。当前的深度网络模型普遍存在一个缺点:网络面对连续呈现的任务时,从当前任务的固定批次数据中获取的知识,会在下一次学习任务中发生遗忘现象,进而产生灾难性遗忘问题。生成回放增量学习框架是目前较为流行的用于解决这一问题的方法,其中包含两类网络模型:分类网络和生成对抗网络。在增量学习过程中,生成对抗网络负责生成代表已经学习过的任务的训练图像,用于扩充当前任务训练集以供生成对抗网络和分类网络共同增量学习。但是现有的框架依然存在严重的遗忘问题。因此,本文针对这一框架中的遗忘问题进行研究,提出两个解决方案。首先针对生成对抗网络的改进。本文提出了一种新的生成对抗网络训练方法,在原有生成对抗网络训练方法基础上,引入最大均值差异损失项。它可以衡量同类别的真实图像和生成图像被判别网络提取的特征之间的距离,训练生成网络生成更加接近真实图像的分布。该方法可以有效缓解生成网络增量学习的遗忘问题。其次是针对分类网络改进,本文提出利用生成对抗网络中的判别网络,通过知识蒸馏方法将分类能力迁移到分类网络上。相比分类网络,判别网络在生成对抗训练过程中经历了对抗样本分类训练,通过知识蒸馏技术可以将判别网络经过对抗训练获得的知识迁移到分类模型中,从而强化分类网络的决策边界知识,进而缓解分类网络的遗忘问题。本文提出的框架应用于图像分类增量学习任务。在多个增量学习基准数据集上,通过实验表明,所提出的两个方法可以有效缓解深度网络增量学习的遗忘问题。
其他文献
布局是超大规模集成电路布局(Very Large Scale Integration,VLSI)电子设计自动化中非常重要的一环,是典型的大规模NP-困难问题。布局解的质量对芯片的性能、功耗、面积等有着十分重大的影响。随着现代先进制程的发展,电路芯片的集成度不断提高,芯片上的单元个数快速增长至百万级甚至更高。同时,为了优化电路芯片的性能,越来越多的预先设计的特征被加入到布局约束中,使得现代先进制程下
随着人工智能的发展和5G时代的到来,三维视觉和虚拟现实等应用也越来越青睐点云表示的媒体。但其海量性也带来存储和传输上的问题,需要对数据进行高效表示。先前逆向建模中的关键点采样、点面片聚类等精简技术由于目标不同而不适用,现有压缩技术在应用范围上又具有局限性。本文结合稀疏编码和深度神经网络的优势,提出了结合稀疏编码的点云压缩算法,并将算法应用于大规模场景和表面光场数据的压缩中。本文的主要工作与贡献包括
随着因特网与多媒体硬件技术的不断革新,出现了越来越多的大规模无标记高维图像。如何高效地处理这类图像数据始终是一个热门且重要的研究方向。特征嵌入学习是一类有效的学习方法,它不仅仅降低了数据的维度,同时保留原始特征大部分的物理信息,适用于许多的研究领域。然而经典的监督特征嵌入学习算法无法有效地解决无标记数据,而无监督特征嵌入学习算法在面对此类高维数据也存在效率低下和过拟合等问题,这对于后续的图像分类等
近年来,基于卷积神经网络的目标检测方法取得了很大的进步,然而在大规模的图像中检测小目标仍然是一个具有挑战的任务。因为小目标在图像中具有较低的分辨率,有限的像素不足以保留小目标的细节信息。而目标检测模型对输入图像进行下采样,提取的特征逐渐丢失了空间信息,影响了小目标的特征表示。小目标检测将直接影响下游许多任务,如无人驾驶汽车从高分辨率的图像中实时、准确地检测路况、交通标识、障碍物等是保证驾驶安全的前
零件尺寸测量是保证产品精度和质量的重要环节。目前,零件尺寸的测量,特别是微小零件,主要是以人工手动接触式测量为主,存在测量精度低、速度慢的问题。随着图像分割技术、硬件计算能力的日趋成熟,本文通过图像分割的方法对微小零件尺寸进行测量,该方法具有精确、非接触式等特点,并且能够满足现代化工业生产需要。本文针对手表定子片零件进行尺寸测量,定子片精度要求为微米级别,其大小均在25mm以内。本文通过传统的图像
可解释性文档分类旨在对文档进行分类的同时生成解释信息作为模型决策依据。现有基于深度学习的解释方法有效增强了模型的可解释性,取得了显著的成果。但仍存在以下问题:现有方法未能充分考虑文档中单词级、句子级等多个粒度上的文本语义特征;已有模型训练时通过优化变分下界难以精确估计样本分布导致生成文本质量不佳;当前方法对长文本信息进行建模时容易丢失部分长距离依赖特征。本文针对上述问题展开以下三个方面的研究:(1
在需要决策的实际问题中,我们所能获知的信息往往是不确定的、不完整的、且精确度不足。为了解决这类问题,Yang等人提出了基于D-S证据理论的置信规则库推理方法。在此基础上,Liu等人提出了数据驱动的扩展置信规则库的构建方法,它通过对前提属性引入置信分布的方式,进一步提升了规则对于已知知识的表示能力。作为一类模拟专家解决现实问题的专家系统,已经吸引了很多学者对其展开了相关研究。但目前置信规则库仍存在着
大量交通信息的收集使得人们能够高效准确地统计交通流量。这些统计结果对政府决策、区域建设、科学研究起到了重要的数据支撑作用。然而,已有研究表明直接发布统计数据存在严重的个人隐私泄露的风险。如何在发布交通流量数据的同时保证个人隐私的安全性是当前数据库领域的研究热点。作为一种公认的隐私标准,差分隐私提供了严格的隐私安全保证,并被国内外学者广泛研究。针对交通应用场景,本文考虑了差分隐私二维空间数据划分发布
短临强降雨,一般指短时间内降雨强度高的一种强对流天气现象,主要发生在每年的汛期。短临强降雨往往伴有强风,冰雹和雷暴等极端气候现象,容易引起山洪、泥石流、城市洪涝等自然灾害。提高短临强降雨的预测准确度是气象研究人员的重点研究目标之一,但由于短临强降雨的高突发性,气象数据的高维非线性导致传统预测方法效果不佳。而且传统预测方法往往只采用了单方面的气象数据,模型抗干扰性不强,非常依赖于数据的准确性。针对以
文本检测与识别是计算机视觉、模式识别与人工智能领域的热点研究方向。传统的光学字符识别方法对存在变形、噪声、不同结构布局和复杂背景等复杂场景下的文本检测与识别任务表现较差。随着深度学习技术的发展,基于深度学习的文本检测与识别算法在复杂场景下取得了较好效果。然而,相较于英文字符,中文中仅常见字符就多达数千个类别,这使得数据集构建困难;其次,不同于英文文本通常词内字符间距小,词间距大,中文文本字符间距可