【摘 要】
：
模型存储压缩旨在不改变模型性能的同时,大幅度降低神经网络中过多的模型参数带来的存储空间浪费.研究人员对于模型存储压缩方法的研究大多在计算机视觉任务上,缺乏对机器翻译模型压缩方法的研究.该文在机器翻译任务上通过实验对比剪枝、量化、低精度三种模型压缩方法在Transformer和RNN(Recurrent Neural Network)两种模型上的模型压缩效果,最终使用剪枝、量化、低精度三种方法的组合
【机 构】
：
东北大学自然语言处理实验室,辽宁沈阳110819
【出 处】
：
第十七届全国计算语言学学术会议暨第六届基于自然标注大数据的自然语言处理国际学术研讨会(CCL 2018)
论文部分内容阅读
模型存储压缩旨在不改变模型性能的同时,大幅度降低神经网络中过多的模型参数带来的存储空间浪费.研究人员对于模型存储压缩方法的研究大多在计算机视觉任务上,缺乏对机器翻译模型压缩方法的研究.该文在机器翻译任务上通过实验对比剪枝、量化、低精度三种模型压缩方法在Transformer和RNN(Recurrent Neural Network)两种模型上的模型压缩效果,最终使用剪枝、量化、低精度三种方法的组合方法可在不损失原有模型性能的前提下在Transformer和RNN模型上分别达到11.7×和5.8×的压缩率.同时,该文还针对三种模型压缩方法在不同模型上的优缺点进行了分析.
其他文献
德泓利绿色生态玻璃熔炉(泓利炉)(DHL-GMF),O2/CO2-富氧碳氢热量循环CCRS燃烧系统技术及高效节能经济型玻璃熔制系统(H3ET-GMS)的技术，在低碳经济环境中应运而生，德泓利技术对配合料处理、高密度熔化、快速澄清及热量回收进行逐一优化，把碳元素作为资源和能源载体进行全程管理，节能率达到(40.5％-72.9% )，熔窑热耗水平900~1080×4.186KJ/kg玻璃液。
ABB ACS1000中压变频器在煤气化装置激冷气压缩机上的应用,在十余年的现场维护中,总结了大量维护经验.对ACS1000的运行也进行了不断地摸索,其中包括优点,也有不足.最为装置核心机组,设备上任意一零部件故障都有可能导致装置停工.本文介绍了中压变频器在装置内运行情况常见故障处理及维护经验与改造措施,为现场电气同类设备维护提供借鉴.
SIL认证仪表一般应用在危险及比较重要的场合,要对仪表SIL认证要仔细确认,随着中国化工装置生产过程智能化水平逐步提高,加强和规范SIL等级认证在化工生产中的应用,十分紧迫和必要.
公司先期项目为保证供电稳定设置了两回路供电,分别引自电力系统两个不同的变电站,其中一回引自东胜北郊220KV变电站,另一回引自布日都500KV变电站220KV母线.同时设置一路应急电源系统,供电电源取自与乌兰木伦220/110kV变电站电气联系相对较弱的布尔台220/110KV变电站,用于装置紧急工况下紧急停车.但由于二三线建设,应急电源线路暂时拆除,公司各装置在外电网和自备电站均出现异常时,极易
催化剂干燥系统压滤机是目前煤制油在提炼催化剂的重要设备,是煤液化催化剂制备装置连接煤浆系统和干燥系统,实现固液分离的大型设备,设备对装置生产具有承上启下的重要作用,其运行效率直接关系到装置催化剂产品的产能,从而影响煤液化装置的生产负荷,本文主要阐述了压滤机工作原理及维护中的故障处理等介绍,以及在近几年日常维护中的技术改进措施.
法兰液位变送器在壳牌煤气化装置中广泛使用,尤其是在渣槽、排渣罐、洗涤塔、汽提塔等处,因其测量介质及测量环境具有易堵塞、易腐蚀、高温、压力变化大等特点,液位计的故障率较高.本文介绍了壳牌煤气化装置中多处法兰液位变送器的生产运行情况,分析了常见的故障现象、故障原因,介绍了针对性的维护经验及有效的改造措施,以提供借鉴.
煤液化区域装置用电设备数量较多且部分设备容量较大,用电状况十分复杂,对电网有较高要求,高压大电机直接启动,有诸多弊端,因而煤液化区域有5台高压同步电机采用软启动方式启动,降低对电网的影响.本文有两个主要目的:一是对电机直接启动与采用软启动方式启动进行比较,说明软启动的作用.二是简析软启动的原理与常见故障处理.
本文介绍了雷电对仪表的影响,分析了雷电对仪表造成危害的途径,给出浪涌保护器设置原则以及设置方案,同时结合现场实际给出榆林公司防浪涌保护器的实施方案,提出了防雷浪涌保护技术的创新点.
对于一些工艺流程相对成熟的装置,许多阀门未设计副线或旁路阀门,导致一些阀门出现故障时工艺条件无法满足隔离处理,在保障生产的前提下就需要在线处理阀门故障,本文就作者所维护的空分装置出现阀门故障时在线处理的一些经验供分享、指教.
在基于深度学习的情感分析工作中,传统的注意力机制主要以串行的方式作为其他模型的下一层,用于学习其他神经网络模型输出的权重分布.该文在探究使用深度学习进行句子级情感分析任务的基础上,提出一种注意力增强的双向LSTM模型,模型使用注意力机制直接从词向量的基础上学习每个词对句子情感倾向的权重分布,从而学习到能增强分类效果的词语,使用双向LSTM学习文本的语义信息,最终通过并行融合的方式提升分类效果.通过