【摘 要】
：
随着人工智能技术的发展和普及,各种深度神经网络模型层出不穷,这些模型在各类任务上都取得了优异的表现,但也存在训练速度慢、资源要求高的问题,模型轻量化的目的就是解决上述问题。知识蒸馏是一种面向深度神经网络模型的轻量化方法,可以极大的缩减模型规模并提高速度。本课题面向中文NLP中的四类子任务,开展基于知识蒸馏方法的深度神经网络模型轻量化研究。现阶段NLP领域的知识蒸馏仍存在很多需要改进之处,课题提出了
论文部分内容阅读
随着人工智能技术的发展和普及,各种深度神经网络模型层出不穷,这些模型在各类任务上都取得了优异的表现,但也存在训练速度慢、资源要求高的问题,模型轻量化的目的就是解决上述问题。知识蒸馏是一种面向深度神经网络模型的轻量化方法,可以极大的缩减模型规模并提高速度。本课题面向中文NLP中的四类子任务,开展基于知识蒸馏方法的深度神经网络模型轻量化研究。现阶段NLP领域的知识蒸馏仍存在很多需要改进之处,课题提出了软标签和硬标签相结合的知识蒸馏方法,辅以提出的老师模型与学生模型选取策略和对知识蒸馏不同阶段的微调策略进行知识蒸馏,以得到更好的蒸馏效果;还针对蒸馏器现有损失函数不够准确造成的蒸馏变形问题,进一步改进了其损失函数,从而更好的控制学生模型进行蒸馏。选取了NLP领域具有代表性的四类任务:命名实体识别、指代消解、关键词提取和机器阅读理解。针对上述四类任务,进一步提出了与任务相适应的轻量化模型调优方法以提升模型效果,包括任务适配的数据增强、数据均衡等方法;针对不同类型NLP任务的知识蒸馏构建其评价方案,分析各任务侧重所在,为实际应用提供参考。最终,在保证各项任务的最小性能损失的前提下,轻型模型相较于基准线模型Bert-base实现了6.7倍的加速比和13.6倍的压缩比,相较于现有方法上述两方面都实现了较大提升。
其他文献
为更好地促进粤港澳大湾区体育特色小镇的发展，基于体旅产业融合的视角，以中山市东升国际棒球小镇为例，对小镇发展现状、功能类型、开发形式、可持续发展动力分析、运营方式和管理方式等内容进行研究.发现：小镇的“强”是充分利用当地悠久的文化历史因素、优越的自然地理因素，发展自身的优势；小镇的“特”是以棒球体育文化形式为特色品牌，依托棒球运动赛事，引进大批游客，带动经济增益；小镇的“新”是将旅游和棒球赛事创新
为提高无人平台在城市作战行动,尤其是室内作战行动中的自主性,需要增进对环境的智能理解能力。无人平台对环境的理解建立在对环境领域知识的形式化表达基础上,传统的环境知识表示方式侧重于对环境中空间信息或者环境要素的简单语义信息等单一信息的形式化表示,缺乏对环境要素之间的深层次的语义关系、常识知识的表示,这阻碍了无人平台对环境的深入理解。为加强无人平台对环境的智能理解能力,针对环境中物体关系的识别,以及常
随着近年来无线通信技术的高速发展,电磁环境感知技术越发成为电磁频谱资源高效利用和电磁环境效应分析的基础。电磁频谱地图从时间、频率、空间和场强等多维度对的电磁环境进行定量描述,并结合地理信息对电磁能量分布、频谱资源分布等信息进行可视化展,是电磁环境感知的基础,是频段复用、覆盖检测以及通信网络搭建的重要支撑,有助于解决频谱管理领域的许多现实问题。本文针对无先验信息条件下电磁环境重构的问题,提出了一种基
武器装备是保卫国家和民族安全的利器,是立足于国际斗争的重要支撑。武器装备发展论证规划是以军事需求为牵引、技术发展为驱动的国防建设中的重要内容,是对武器装备的评估、决策、规划等一系列工作具体论证与安排。面对瞬息万变的国际形势和战略局势,单一的装备选型已经无法满足日益复杂的作战场景的需求,各个领域装备之间需要相互配合才能发挥最大作用;同时,武器装备规划必须准确把握战争形态的演变趋势,不能因为有相应需求
随着国家乡村振兴战略的推进和国土空间规划体系的建立，城乡规划本科专业的人才培养面临着新的机遇和挑战。为了满足山西省以及中西部地区城乡社会发展的人才需求，山西农业大学城乡规划本科专业2021新版培养方案以学制改革为契机，在原有的建筑学、风景园林和生态学特色基础上加强了乡村规划特色，充分发挥了在人居环境规划设计领域的突出优势和农业农村领域的比较优势。在此基础上，针对课程体系部分存在的课程内容急需更新、
时尚界的零浪费是指尽可能地消除服装生产过程中的纺织废料。服装产业在生产制作中约有15-20%的面料被丢弃,不仅浪费了自然资源和社会资源,还会造成后续一系列处置问题和污染问题。因此,服装设计中的“零浪费”显得尤为关键。为了抵制这些浪费,一种新的运动——零浪费时尚---开始席卷时装圈。一大批拥有自己品牌的设计师,接受挑战,加入此项运动,并且创造与众不同、时尚前卫的零浪费服装。零浪费纸样设计通过对面料精
结冰是造成飞行安全事故的主要隐患之一。结冰会恶化飞机气动特性,增大重量,影响通讯设备及传感器的性能,导致飞机失控甚至造成事故。现有防除冰方法面临着能耗大、结构复杂等问题,并且无人机尚无有效的防除冰手段,亟需发展新型防除冰技术。本文针对飞机防除冰技术的重大需求,将流动控制领域中具备结构简单、能耗低、响应快等优势的电弧放电激励器引入到防除冰领域,提出了电热与电弧放电激励器组合式除冰技术,并对此开展了一
校服作为一种校园服饰,是校园文化的重要载体,能反映学校办学宗旨和学生精神风貌,体现国家文化教育水平和服饰文化水准。近年来随着新冠疫情的爆发,人们的生活方式面临巨大改变,对于身体健康的关注度和重视度逐渐提高。上呼吸道感染作为医院就诊患者中的常见病与多发病,病毒主要通过飞沫进行传播扩散。一年四季均可发病,男女老幼皆可罹患,对人们日常生活的影响较大。在疫情防控常态化趋势下,尤其是身体正处于发育阶段的中小
工业4.0的到来使得智能生产制造得以大力发展，生产过程数据采集为智能制造的重要组成部分，其性能将直接影响产品生产管控、过程管理、历史追溯等核心环节的质量，因此需要一种可靠的SCADA（监测监控及数据采集）系统来实现关键数据的采集。目前数据采集过程面临着数据量大、实时性差等难题，针对这些问题，基于空气弹簧自动化产线场景，本文设计并开发了一套适用于空气弹簧智能生产制造的SCADA系统。首先根据功能需求