【摘 要】
：
提出一种自适应多领域知识蒸馏框架,有效地加速推理和减小模型参数同时确保模型性能,采用知识蒸馏方法对情感分析问题进行研究。针对每个特定领域进行知识蒸馏,模型蒸馏涉及词嵌入层蒸馏、编码层蒸馏(注意力蒸馏、隐藏状态蒸馏)、输出预测层蒸馏等多个方面;针对不同领域,学生模型保持相同的编码器,即共享权重,通过不同的领域特定输出层拟合不同的教师模型。在多个公开数据集上的试验结果表明,单领域知识蒸馏使得模型准确度平均提升2.39%,多领域知识蒸馏使得模型准确度平均提升0.5%。与单领域的知识蒸馏相比,该框架增强了学生模型
【基金项目】
：
国家重点研发计划资助项目(2018YFC0830604),国家自然科学基金资助项目(61702080,61806038),中央高校基本科研业务费专项(DUT19RC(4)016),中国博士后基金资助项目(2018M631788)。
论文部分内容阅读
提出一种自适应多领域知识蒸馏框架,有效地加速推理和减小模型参数同时确保模型性能,采用知识蒸馏方法对情感分析问题进行研究。针对每个特定领域进行知识蒸馏,模型蒸馏涉及词嵌入层蒸馏、编码层蒸馏(注意力蒸馏、隐藏状态蒸馏)、输出预测层蒸馏等多个方面;针对不同领域,学生模型保持相同的编码器,即共享权重,通过不同的领域特定输出层拟合不同的教师模型。在多个公开数据集上的试验结果表明,单领域知识蒸馏使得模型准确度平均提升2.39%,多领域知识蒸馏使得模型准确度平均提升0.5%。与单领域的知识蒸馏相比,该框架增强了学生模型
其他文献
环境侵权案件常常会同时损害到社会公共利益与公民个人利益,从而导致环境民事公益诉讼与私益诉讼的同时发生,这两种诉讼在实践中不可避免地会发生冲突,对此,我国目前采用并轨制的模式并有一些法律规定加以规范,但这些制度设计与法律规定还不够完善,不足以协调好二者之间的关系。由渤海湾漏油案引发思考,赞成在我国适用衔接制的协调模式,同时对原告主体资格、诉讼请求范围、起诉顺位、既判力扩张与赔偿顺位等具体制度与具体的程序规范作出论述并提出了完善建议。
利用现有的生活垃圾焚烧厂协同焚烧污泥,实现对污泥的减量化、无害化和资源化处理,已成为污泥处置的主流技术之一。重点比较了不同掺烧比的干化污泥与生活垃圾混合焚烧时的锅炉燃烧特性,结果发现:当干化污泥掺烧比例从0增加至15%,焚烧炉出口烟气量减少5.4%,锅炉蒸发量减少7.6%,锅炉整体效率下降0.5%,炉渣与飞灰量分别增加了12.6%、12.5%,SO2与HCl分别增加了68.4%、4.9%。同时对垃圾焚烧厂掺烧污泥的经济性进行分析,经测算污泥协同焚烧成本为241元/t (含水率80%)
耕地轮作休耕制度试点是乡村振兴战略的必然要求和制度基础。新形势下深入推进耕地轮作休耕制度试点既是夯实农业生产力基础的需要,也是推进乡村绿色发展的需要。当前耕地轮作休耕制度试点进入扩展阶段,以第一批试点总结经验,分析带动试点全面推进是关键。通过分析第一批试点典型区域实施耕地轮作休耕的经验做法,总结出耕地轮作休耕计划必须因地制宜;农民主体地位必须充分尊重;农业技术和评估机制必须科学引入;组织保障和监督监测必须加强完善四大经验。
我国正在推行的生态环境损害赔偿制度存在着内源性与外源性的问题,即以纯粹的私法思维主导政府索赔制度存在逻辑障碍,无法反映政府索赔制度的全貌,以公法模式应对生态环境损
当前国家正强烈地推展环保意识,并加快推进生活垃圾分类,以建设一个青山绿水美丽的中国。因此各地也陆续出台了有关垃圾分类的一些法律法规,但是对于我国很多城市来说,如何有效推进垃圾分类依然是一个巨大的难题。研究中运用KANO模型调研温州市生活垃圾分类现况,了解目前试点小区居民垃圾分类回收模式下的感受,以作为后续《城市生活垃圾分类实施方案》的推展工作。并通过问卷数据分析,对居民垃圾分类回收行为认知,以及相关实际经验作出总结,提出“四个一”的推进策略建议,作为开展城市居民生活垃圾分类工作提供思路。
随着生活垃圾强制分类时代的到来,完善的生活垃圾管理地方立法关系到生活垃圾分类的效果。通过对我国生活垃圾管理地方立法现状的梳理,目前存在立法模式不一、立法名称混乱、分类标准杂乱等主要3个问题。今后的立法应当以城乡经济发展水平为依据确定立法模式;立法名称现阶段以管理为宜,以治理为发展趋势;分类标准的制定以统一性、整体性、可接受性为原则。从而优化我国生活垃圾管理地方立法,实现生活垃圾法治化管理的持续性发展。
提出一种基于多目标驱动蜂群算法的疏散仿真模型。在人工蜂群算法的基础上,对跟随蜂设置视野搜索半径,将视野范围内适应值最优个体作为其视觉引领蜂,从而减少跟随蜂选择引领蜂的盲目性。提出多目标驱动人工蜂群算法,即由惯性引领蜂、全局最优蜂、个体历史最优蜂、视觉引领蜂共同对跟随蜂的移动方向进行引导,从而使跟随蜂的移动路径得到进一步优化。试验结果表明,多目标驱动人工蜂群算法疏散效率较高,在疏散总人数较多的情况下性能更优,且人员分布更为合理。本研究的模型和算法能够有效提高疏散效率,适合多障碍物场景下的疏散问题。
针对视频监控环境下采集的可用行人图像数量有限,以及非可靠数据标注导致监督学习算法性能下降等问题,提出一种融合Gabor特征和卷积特征的无监督小样本行人重识别方法。采用Gabor变换提取多尺度、多方向行人纹理和边缘信息,实现小样本行人图像特征级数据增强,进一步通过特征编码消除冗余信息,提升相似度比对效率。采用卷积自编码网络提取行人非线性深度卷积特征,避免监督学习算法对数据标注的依赖性。融合两种异构特
提出一种卷积神经网络(convolutional neural network, CNN)和长短时记忆(long short-term memory, LSTM)网络混合的心律失常自动检测算法,模型结构共由5层卷积层、5层池化层、1层LSTM层和1层全连接层组成。利用CNN能够自动提取特征和LSTM能够捕捉时间序列前后依赖关系的能力,将简单预处理后的心电信号数据直接输入到混合模型当中。整个模型将特
综述了近几年国内外文献对城市土壤中锑的主要来源以及锑在土壤中迁移转化过程发生的形态变化,并对目前常用的重金属来源分析方法包括稳定同位素示踪法和化学形态分析法等方法进行分析比较。锑已被广泛应用于阻燃剂、催化剂以及合金等的生产,含锑产品在生产和使用过程中释放,汇入土壤。由于锑的潜在毒性和风险,锑越来越被人关注,对土壤中锑来源的分析的需求也越来越迫切,但目前对锑源解析的研究还比较少。综述了近几年国内外文献中对土壤中锑的主要来源以及锑在土壤中迁移转化过程发生的形态变化的研究,并对目前常用的重金属来源分析方法包括稳