任务相似度引导的渐进深度神经网络及其学习

来源 :计算机科学与探索 | 被引量 : 0次 | 上传用户:dc365
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
持续学习旨在连续地学习多个任务,并且在不发生灾难性遗忘的情况下,能够利用先前任务的知识来帮助当前任务的学习。渐进神经网络是一种参数独立的持续学习方法,渐进地为每个任务分配额外的网络来提升持续学习的性能,但是这种方法未能直接利用任务间相似度的影响。而在持续学习过程中,通过对比任务间的相似度,并以此来对先前任务的参数进行修剪再迁移可能会显著提高当前任务的性能。因此,提出了一种任务相似度引导的渐进深度神经网络(Task-Similarity Guided Progressive Deep Neural Network,TSGPNN)及其学习方法,它包括了任务相似度评估和渐进学习两个阶段。其中,任务相似度评估阶段定义了一个参照值来衡量目标任务域之间的相似度,并以此作为任务间知识迁移量的参照;渐进过程通过吸收先前任务中的知识重新学习,以此提升学习新任务的能力。对CIFAR-100、MNIST-Permutation和MNIST-Rotation数据集做了任务切分后,实验表明,TSGPNN的性能与单任务学习、多任务学习和其他基准持续学习方法相比更好、更稳定。
其他文献
本文以智能化建筑设计为主题,分析它的优势并对相关计算机技术进行研究,让工作人员有更高的工作效率,加强建筑设计的效果。随着现代科技的不断进步,智能化技术也就随之发展,它有着科技先进性,最主要的还是计算机的应用,计算机能够实时进行数据分析和检测,同时还能储存信息,加快智能化建筑的发展脚步。
插画已经成为一种更深层次的消费产品,作为流行文化和时尚艺术的象征出现在当代社会。可以预见,随着人类信息时代的发展,插画艺术将继续寻求并拓展发展空间,在当代社会的信息传播中,插画艺术将继续发挥积极作用。
农业是文明形成和发展的基础。约1万年以前,农业在西亚、中美洲和东亚地区几乎同时独立出现,西亚的两河流域被认为是小麦、大麦、燕麦等作物的起源中心;中美洲则是玉米、马铃薯和花生等农作物的诞生地;中国拥有两套独立的原始农业系统,分别是起源于长江中下游地区的稻作农业和黄河中游地区的粟-黍旱作农业,孕育了中华农耕文明。西亚的小麦农业、东亚的稻作和粟-黍农业逐步传播到世界上大多数地区,促进了早期农业全球化。1
推动“中国制造”向“中国创造”和“中国智造”转变,需要培养和造就大批具有“工匠精神”的技术技能型人才。为系统把握国内工匠精神的研究,借助科学计量软件CiteSpace对中国社会科学引文索引(CSSCI)数据库收录的441篇期刊论文进行关键词聚类、中介中心性及关键词突现性分析,绘制出中国工匠精神研究的可视化知识图谱。研究结果表明,当前研究主要围绕工匠精神内涵阐释、当代价值探究以及工匠精神培育三大主题
一般对FPGA程序升级,需要使用下载器通过JTAG接口与FPGA连接,但在整机生产及售后服务的情况下,再通过下载器升级的方法非常困难。基于XILINX公司的XC7K325T芯片,利用FPGA的MultiBoot功能及Slave Serial Mode配置方式,介绍一种基于Flash、FPGA和PCIE3.0总线的在线升级方案。FPGA通过SPI总线配置Flash,ICAP接口使FPGA跳转到Fla
本刊讯近期,在全国苹果市场销售并不太快的情况下,甘肃花牛苹果却卖得最火,价格也上升不少。目前,甘肃花牛苹果出库平均批发价格比“春节”前每kg上涨了2元多。主要原因:一是虽然花牛苹果和美国蛇果同属1个品种,但是现在花牛苹果质量已经领先于蛇果。花牛苹果主产地甘肃天水,生态优越,海拔高,光照足,土层深厚,富含钾元素,雨量也比较适中,夏季温度不高,易成花,丰产性强,昼夜温差大,
期刊
手写体数字0-9的识别在原始数据集的获取上较为容易,拥有MNIST的这种成熟的大型标准数据集,已经被视为是人工智能图像识别领域研究的入门问题,对其进行研究具有重要的现实意义。在众多的识别算法中,卷积神经网络在识别精度上的表现较为突出,而深度学习框架的出现在一定程度上降低了神经网络模型构建的难度和入学门槛。本文基于Tensorflow深度学习框架,详细讨论了如何构建LeNet-5卷积神经网络模型实现
期刊
全球变暖问题给人类赖以生存的居住环境造成了严重威胁。我国积极履行《巴黎协定》低碳转型约定,力争2030年前完成碳达峰,2060年实现碳中和。开发利用清洁能源可以有效降低能源消耗过程中的碳排放,是改善我国能源结构、实现"双碳"目标的有效途径。"十四五"是"双碳"目标实现的关键期、窗口期,也是清洁能源发展的战略机遇期。因此,本文以我国清洁能源为研究对象,重点探讨我国清洁能源发展的问题及实现路径,以期为