【摘 要】
:
最近,在大数据和从数据流中学习的情况下,增量学习和在线学习越来越受到关注,这与传统的完全数据可用性假设相冲突。一般来说,传统的假设是所有任务的训练数据始终可用。然而在实际应用中,在构建统一的视觉系统或逐步向系统中添加新功能时,如果涉及连续输入数据流的在线服务。任务数量不断增加,对此类数据进行存储和重新训练变得不可行,增量学习被认为是解决上述实际挑战的有希望的解决方案。研究表明,增量学习存在一个基本
论文部分内容阅读
最近,在大数据和从数据流中学习的情况下,增量学习和在线学习越来越受到关注,这与传统的完全数据可用性假设相冲突。一般来说,传统的假设是所有任务的训练数据始终可用。然而在实际应用中,在构建统一的视觉系统或逐步向系统中添加新功能时,如果涉及连续输入数据流的在线服务。任务数量不断增加,对此类数据进行存储和重新训练变得不可行,增量学习被认为是解决上述实际挑战的有希望的解决方案。研究表明,增量学习存在一个基本困难:即灾难性的遗忘。根据新数据调整模型通常会导致以前的任务或类别的性能严重下降,生物有机体拥有可以持续顺应环境从而不断学习的能力,而灾难性遗忘导致人工智能体缺乏这种表现。为此,本文针对灾难性遗忘的问题,提出基于R-EWC改进的增量学习方法。R-EWC(Rotated-Elastic Weight Consolidation)基于弹性权重巩固,通过降低对旧任务重要参数的学习率来实现增量。然而,R-EWC将参数空间进行旋转,更好地拟合了任务,增量能力进一步得到提高。同时,我们的研究表明,旧数据与新数据之间的权重变化是导致此问题的关键原因。对权重进行一定程度的约束,有可能克服这种局限性,并可训练出可以维持他们长期未经历任务的网络。我们在R-EWC旋转弹性权重巩固的基础上,添加多重权重的约束,消除权重量级和混淆带来的不利影响,有选择地对任务重要权重的学习率进行降低,以记住旧任务的知识。通过解决一组基于Mnist手写数字和Cifar数据集的分类任务,证明了我们的方法是有效的。将其他方法作为基准进行类比,多重权重约束的方法在分类精度和鲁棒性上都有较大幅度的进步。此外,本文还简要分析了增量学习的最新研究现状,详细阐述了增量学习的定义、分类和意义。并对增量学习的基本方法和目前基于深度神经网络的先进方法进行总结和展望,对推动增量学习的研究起到一定的作用。
其他文献
随着我国消费者保健意识的日益增长和健身习惯的逐渐养成,功能饮料市场越来越显示出巨大的潜能,无论是本土还是国外企业都瞄准了这一商机,不断加大对中国功能饮料市场的投入。L品牌功能饮料作为行业的后起之秀,从2013年上市起便通过近5年的快速发展赢得了一定的市场份额,但自2017年起增速放缓,跟随策略的弊端逐渐显露。本文将从市场营销基本原理出发,通过文献研究法、调查研究法、比较分析法等手段围绕L品牌功能饮
随着无人车性能不断完善并向智能化方向发展,各种自动驾驶应用快速增长。车载应用的增加给车载资源有限的自动驾驶汽车带来了爆炸性的计算需求。边缘计算(Edge Computing,EC)通过应用程序卸载可以有效地缓解这一问题,为车辆用户提供低时延和高可靠的服务。然而,由于边缘计算资源的稀缺,无法满足所有卸载任务的时延要求,从而导致不可避免的资源竞争问题。对于资源有限的边缘服务器来说,针对不同的时延敏感性
随着政策法规对环境、社会和企业责任问题的逐渐关注,以及来自消费者和各利益相关者的压力,实施绿色可持续发展受到了企业的高度重视。汽车制造业作为支柱型产业,绿色化、智能化的发展模式已成为提高市场竞争力的必然趋势。Q公司也迫切意识到可持续发展的重要性,并将如何推动整条供应链的可持续稳定发展提高到了公司战略层次。在此研究背景下,论文从Q公司的供应商评价与选择决策现状出发,发现其传统的供应商评价体系已不能适
氢能作为一种清洁、高效、资源丰富的新能源,被认为是最具发展潜力的绿色能源,在能源转型过程中扮演着重要角色。在诸多的制氢方法当中,铝的水解制氢因具有低成本、高产氢量、氢气制备简单等优点,受到了研究者们的广泛关注。但是铝的表面易形成致密的Al2O3钝化层,严重阻碍了铝水解反应的进行。铝合金化处理是提高铝的活性以实现高效水解制氢的有效方法之一。本研究利用CALPHAD方法进行了合金成分的设计,通过气雾化
经济发展水平与国民收入的提高,消费观念的转变,带动了人们消费方式的升级,人们需要个性化、多元化、高层次的购物体验。与此同时,随着互联网络技术的发展,网络的普及,人们在网络上的时间越来越长,网络社交成为了人们主要的社交方式,因此许多电商行业也将注意力转移到了社交网站。在这样的背景下,电子商务尝试社交化,社交、共享、互动已经构成了互联网应用的核心要素。用户可以在各种网络社区平台上,不受时间空间的限制自
自全国人大常委会授权最高人民检察院提起公益诉讼试点起,公益诉讼领域从理论到实践都得到了不断的完善。公益诉讼线索发现是办理案件的前提和先决条件,线索的数量与质量决定办案的最终效果。借助文本挖掘技术通过监控网络数据拓宽公益诉讼线索来源渠道,促进“互联网+司法”的发展,网络文本作为一种重要的数据承载形式也是发现公益诉讼线索的切入点。本文立足于检察机关视角,以某省公益诉讼办案指挥中心平台建设项目为背景,主
固定化金属离子亲和色谱技术被广泛应用于重组蛋白纯化、修饰蛋白及多肽的富集、废水处理以及分子间相互作用研究等众多领域,效果卓著。但目前被广泛使用的金属离子类型主要局限于镍、铜、锌等少数金属离子。该技术在其他金属离子亲和色谱类型方面的广泛应用还有待研究拓展。铅是水环境污染中常见的重金属元素,毒性显著,极易被人体吸收和富集,对机体多个系统造成严重损伤。铅过量摄入引起中毒事件时有发生,特别是儿童铅超标现象
合成孔径雷达(Synthetic Aperture Radar,SAR)和逆合成孔径雷达(Inverse SAR,ISAR)因其能够全天时、全天候地获取目标高分辨图像的能力,是我国近年来实现领土海域的监控和对舰船实时侦察的一种重要手段,已经成为各国学者的研究热点。相比于固定翼SAR/ISAR成像平台,直升机平台因其具有垂直起降、贴地飞行、在不平整的地段着陆以及在空中悬停等优点,在民用和国防领域应用
科学技术的蓬勃发展带来应用种类的百花齐放,却也导致数据规模的爆发式增长,如何处理大数据成为信息时代的一项亟需解决的关键问题。由于传统的集中式处理系统在面对高并发、大流量的新型数据面前显得愈发力不从心,分布式计算系统逐渐取代其成为主流的大数据处理方式。由此,本文提出了一种基于可分负载调度的分布式大数据加速原型,以解决在任意网络拓扑结构下的分布式处理系统中网络带宽和计算资源分配的问题。本文主要分为两大
二氧化碳是温室气体,通过二氧化碳回收利用来减少工业过程中的碳排放对环境保护非常重要。现有二氧化碳回收技术大多着重于二氧化碳捕集率,而较少关注二氧化碳产品的纯度。本文对精馏法制取高纯二氧化碳工艺进行研究。二氧化碳排放气的来源有烟道气、石灰窑气、发酵尾气和制氢尾气等。根据不同来源的气体中各组分与二氧化碳之间的汽液平衡数据,对比选择合适的热力学计算模型。基于组分特点分析,提出分离纯化过程需特殊处理的杂质