【摘 要】
:
基于深度神经网络的分类模型在许多领域的任务中效果显著。然而,对于在某任务上训练好的模型,如果使其对一些新类别的数据进行学习,此模型对旧类别数据的识别能力会大幅下降,即模型产生灾难性遗忘。类增量学习旨在克服灾难性遗忘,使分类模型可以动态地对新类别数据进行学习,前提是训练时不使用或者只使用远少于旧数据总量的少量旧类别数据,并且训练后的模型能够为目前见过的所有类别进行有效分类。为了使深度模型能够适应类增
论文部分内容阅读
基于深度神经网络的分类模型在许多领域的任务中效果显著。然而,对于在某任务上训练好的模型,如果使其对一些新类别的数据进行学习,此模型对旧类别数据的识别能力会大幅下降,即模型产生灾难性遗忘。类增量学习旨在克服灾难性遗忘,使分类模型可以动态地对新类别数据进行学习,前提是训练时不使用或者只使用远少于旧数据总量的少量旧类别数据,并且训练后的模型能够为目前见过的所有类别进行有效分类。为了使深度模型能够适应类增量学习的模式,克服灾难性遗忘并尽可能提高分类准确率,本文提出了基于知识蒸馏和无偏预测的类增量学习算法(ClassIncremental Learning via Knowledge Distillation and Impartial prediction,KDIP),针对范例集数据选择策略,增量训练过程中的旧知识保留,克服预测偏倚等关键问题设计了三个子算法,主要内容如下:(1)提出了一种基于最大干扰优先原则的范例集选取算法。借鉴难例挖掘的思想,在构造范例集时选择了在模型更新前后遗忘最严重的样本,即受干扰最大的样本,在后续的增量训练阶段对这些样本的反复学习有利于最大限度地克服灾难性遗忘。(2)提出了一种基于知识蒸馏的增量训练算法。充分挖掘旧模型中的知识,并通过知识蒸馏迁移到新模型当中。对于新旧模型的预测结果,使用余弦相似度进行度量后再进行知识蒸馏;对于新、旧模型对同一样本提取的特征向量,最大化两者的相似度以获取模型表征的不变性;增大训练样本与其他类别的类嵌入在特征空间中的距离,降低样本被误分类的概率。(3)提出了一种基于去动量效应的无偏预测算法。分析了类增量学习中的预测偏倚问题,通过计算模型在空输入条件下的纯偏倚效应,在预测结果中除去纯偏倚效应带来的影响从而得到无偏预测结果,提高增量训练阶段在非均衡数据集上的分类准确率。在本领域常用的公开数据集和实测雷达信号数据集上,分别对本文提出的KDIP算法进行了实验。在CIFAR100、Image Net-Subset和Image Net-Full三个公开数据集上的实验结果表明,与该领域基准算法以及近几年性能最好的算法相比,在使用相同的基础网络及参数设置的情况下,KDIP算法可以在多数数据集上取得更高的分类准确率。在实测雷达信号数据集上的实验结果表明,将KDIP算法应用在雷达辐射源个体识别领域,以类增量学习的模式完成雷达信号分类器的训练任务是切实可行的。在仅保存每个类别很少量的旧类别数据的情况下,使用KDIP算法训练得到的模型比起专家模型的分类性能下降很小,并且可以节省大量的时间和存储资源。
其他文献
近年来,车辆保有量的增多导致公有车位资源愈加紧张。相反,私有停车场存在大量空闲车位,这导致了资源的巨大浪费。针对此问题,智能停车方案应运而生。然而,智能停车方案带来停车便利的同时也引入了新的安全性问题,例如:隐私泄露和公平性。现有的智能停车方案都是基于中心化设计,其中心服务器易受单点攻击,导致用户数据的丢失。而具有去中心化,不可篡改,可公开验证等特性的区块链系统为智能停车场景赋予了新的能力。不幸的
近年来随着机器学习的发展越来越迅速,卷积神经网络在计算机视觉尤其是图像语义分割任务中的应用也越来越广泛。训练高精度的分割网络需要大量的标记数据,但实际应用中数据集的像素级标签难以获取。针对训练中缺少标记数据的情况,分割网络只能通过无监督学习实现微弱的精度提升。为了减少获取真值标签的开销并提高无监督语义分割的准确率,研究人员开始关注迁移学习及域适应策略。迁移学习利用公共大型数据集或其他易于获取真值的
多路径效应降低了伪距和载波相位观测的精度,严重影响了复杂环境下GNSS精密单点定位(Precise Point Positioning,PPP)的收敛性能。近年来,基于时空重复性的多路径改正方法由于其在复杂度及实时性等方面的突出优点,成为学界和业界的研究热点。与传统的时间重复性方法相比,空间重复性方法具有算法简单、易于实施等优势。作为典型的空间重复性改正方法,多路径半天球图(Multipath H
高送转方案曾经是我国A股市场上市公司热衷采用的利润分配方式。上市公司能够通过高送转方案快速扩大股本、增加股票的流动性。然而,高送转概念却被恶意炒作,成为内部人进行利益输送的方式,不少“低股价、低业绩、高股本”的企业跟风实施高送转方案,损害中小投资者利益,引起监管部门的重视。2018年,沪深交易所发布高送转新指引,明确了不同板块高送转的定义,且对高送转企业作出进一步要求。这一举措令不少上市公司想借助
命名实体识别是指在文本中识别出包含特定意义的命名实体。在互联网时代,以微博为代表的社交媒体中每时每刻都在产生着大量的文本数据,对这些文本进行命名实体识别可以获得相当大的应用价值。目前,针对中文微博文本的命名实体识别仍面临着一些困难:1.微博文本存在着用词不规范、口语化严重等问题,对这些不规范文本的识别准确度仍然很低。2.与英文相比,中文单词之间缺乏明显的边界信息,因此中文命名实体识别通常使用基于字
粒径小于5 mm的塑料称为微塑料(MPs)。它们在大气、水、土壤中累积,污染环境,危害生物和人体健康。目前关于降解MPs的研究集中在生物法和光催化法。生物法对环境污染小,但是它依赖微生物的种类,反应条件严格。光催化法的成本低,但是反应过程中氧化剂的损失会限制反应速率。三维电化学反应器(3DER)是在二维电化学的基础上,填充材料而构成。由于其氧化能力高,能源利用率高,能耗低等优点,三维电化学技术被广
英雄烈士为中华民族伟大事业和民族独立解放作出重大贡献,理应受后代敬仰。但是,近年来,社会上出现了很多贬损抹黑英雄烈士形象,歪曲、否定他们英雄事迹和精神的行为,不仅侵害了英雄烈士的名誉、荣誉等人格利益,更损害了其人格利益中融入的社会公共利益。针对这些行为,我国在制定《民法总则》时增加了第185条规定,并颁布了《英雄烈士保护法》,以弥补对英雄烈士人格利益保护的不足,对尊崇英烈,弘扬英烈精神和社会主义核
贫困是全世界范围内的命题,消除贫困是全世界各国政府都在为之努力的一件事。中国作为世界上最大的发展中国家,存在着贫困人口基数大、分布范围广、贫困程度不一等现状,我国也是全世界脱贫减贫工作最大的推动者,经过几十年不懈的努力和积极的探索,走出了一条有中国特色的脱贫减贫道路。本文以C县省派驻村“第一书记”工作为研究对象,通过访谈和走访的方式了解他们在开展“抓党建促脱贫”工作中取得的成绩和开展作中遇到的问题
软件可信性是软件工程一个重要研究领域,而软件可信性度量是可信软件一个研究热点,其目的是对软件可信性进行量化评估,保障软件产品的质量。起初的软件可信度量大多是将软件作为整体,通过研究影响软件可信性的属性量化评估整个软件可信度。随着软件技术的不断发展,软件规模越来越大,基于组件的软件开发技术已成为软件开发的主流技术。本文着重关注组件的可信性量化模型,将组件分为关键组件和非关键组件,在此基础上建立一种基
随着大数据、5G、边缘计算等新技术的迅猛发展,各行业对数字化转型的需求更加迫切,云服务正从互联网行业普及到政府、制造、金融、零售、交通、教育等领域。面对严峻的云服务市场竞争形势,对于以盈利为目标的云服务提供商来说,其亟需解决的关键问题是如何设计有效的调度算法使云服务利润最大化。现有的云服务利润优化研究工作一般只讨论云服务运营商这一层面,而忽略了对云用户这一层面的分析。因此虽然当前研究可能会在短期内