【摘 要】
：
深度神经网络模型通常存在大量的权重参数,为了减少其对存储空间的占用,提出权重量化的深度神经网络模型压缩算法。在前向传播过程中,使用一个四值滤波器将全精度权重量化为2
【基金项目】
：
2014年广西物联网技术及产业化推进协同创新中心资助(WLW200601);2016年广西科技计划项目(广西重点研发计划)(AB16380264);2016年“认知无线电与信息处理”省部共建教育部重点实验室基金项目(CRKL160102)
论文部分内容阅读
深度神经网络模型通常存在大量的权重参数,为了减少其对存储空间的占用,提出权重量化的深度神经网络模型压缩算法。在前向传播过程中,使用一个四值滤波器将全精度权重量化为2、1、-1和-2四种状态,以进行高效的权重编码。最小化全精度权重与缩放后四值权重的L2距离,以获得精确的四值权重模型。使用一个32位二进制数对16个四值权重进行编码压缩,以大幅度压缩模型。在MNIST、CIFAR-10和CIFAR-100数据集上的实验表明,该算法分别获得了6.74%、6.88%和6.62%的模型压缩率与三值权重网络相同,但准确率分别提升0.06%、0.82%和1.51%。结果表明,该算法可提供高效、精确的深度神经网络模型压缩。
其他文献
<正>军民融合在更广范围、更高层次、更深程度上把国防和军队现代化建设与经济社会发展结合起来,为军队现代化提供丰厚的资源和可持续发展的后劲。党的十九大报告指出,我国已
市场经济的发展以及经济全球化的深化,增加了市场的各种不确定性因素,面对种种风险,加强企业的内部控制,提高企业风险管理能力成为企业经营发展中需要重点关注的问题。本文从
用水热法制备了氢氧化镍超级电容器材料,对它的充放电电流强度随时间的变化进行测试分析,确定变化规律的解析式。在此基础上,应用速度反应理论,得到放电电流强度的半衰期tm、
海底地形与底质是海洋环境可视化的基本内容。目前基于二维平面的海底地形与底质的可视化结果缺乏真实感,而已有的三维海底环境可视化不能有效反映各种底质的分布情况。为了
<正>教科书上说,新闻是新近发生的事实的报道。但是,记者撰写的新闻究竟是不是事实,如何避免出现"盲人摸象"的笑话,不是简单说说的。因为,现实生活中无数事实反复证明,眼见不
目的研究低分子肝素对谷氨酸(Glu)损伤培养大鼠皮层神经细胞的保护作用。方法体外培养大鼠皮层神经细胞,建立谷氨酸诱导损伤模型,采用MTT法检测细胞活力;测定神经细胞培养液
"负能量"与"正能量"相对,都是日益火爆的网络语言,用来指代消极、悲观、无所作为等心态,引起焦虑、紧张、愤怒、悲观、沮丧等负面情绪的动力和情感。本文从网络负能量的体现
长江宜昌至安庆段航道为长江黄金水道的瓶颈,急需通过河势控制与航道整治相结合的综合治理措施来提高航道标准。结合国家"依托黄金水道,建设长江经济带"的发展战略,对宜昌至
中西文化虽然背景和氛围不同,但在未成年人道德教育方面却存在着许多相同或相似之处:西方国家和中国古代都主张道德养成应从娃娃抓起,都强调道德实践在道德养成中的作用,都重
目的探讨慢性疾病年龄相关性改变的规律。方法对某大型企业在职和离退休职工进行血糖、血症、血尿酸、乙型肝炎病毒5项指标、心电图、B型超声波、X线胸片、血压和眼科检查。