基于量化的神经网络压缩与加速应用研究

来源 :桂林电子科技大学 | 被引量 : 0次 | 上传用户:denggaoangyuan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,边缘计算发展迅速,通常利用卷积神经网络实现智能计算任务,但边缘计算设备一般内存容量受限、实时性要求较高,而卷积神经网络模型普遍规模庞大,计算复杂,因此有必要对现有的神经网络模型进行压缩与加速。为了实现这个目的,在本文中分别从输入部分和权重部分这两个角度对其进行量化处理,进一步降低了参数冗余与结构冗余所带来的内存消耗和时间消耗。本文所做的工作主要包含以下几个方面:1)为了提高模型压缩率,在网络权重部分,本文采用BWN方案对其进行量化,在CIFAR-10和Image Net数据集上,模型分别压缩了29.5和30.8倍,接近理论值32。2)为了解决“梯度不匹配”问题,在网络的输入部分采用改进的2-bit半波高斯量化器进行量化,通过对半波高斯量化器的改进,可以把原始浮点型的卷积运算转化为同或和位计数操作的卷积运算,大大减少了计算开销,实验结果表明,相比于改进前,改进后的量化算法的加速比提高了10倍。3)针对同时对输入部分和权重部分进行量化可能带来精度损失严重的情况,本文提出了一种用于对模型进行微调的交替更新算法,相比于其它微调方法,该方案迭代次数少,效率高,微调之后的二值模型在CIFAR-10和Image Net数据集上精度分别提升了0.87%和2%。4)针对稀疏在网络模型压缩与加速所起到的重要作用,本文在半波高斯量化的基础上,通过引入稀疏率,探索了4个具有不同稀疏率的稀疏量化器对模型性能的影响,在Image Net数据集上的结果表明,稀疏对于网络的加速以及精度的提升具有一定的作用。在稀疏率为56.25%和62.5%下,相比于基准方法HWGQ-Net,加速比分别提高1.3倍和1.6倍,而Top-1精度分别提升1%和0.4%。随着稀疏率的增加,精度是先升后降,加速比则是不断提高,为了在精度与加速比之间取得平衡,选择的最佳稀疏率应为56.25%或62.5%。
其他文献
伴随着时代的发展和社会的进步,全球经济不断融合扩张,消费者经济生活水平的提高,导致需求急剧增长,而信息科学技术的升级带来了电子商务的突飞猛进,网购的成交量、交易商品的种类和范围都在迅猛增长,对快递业的发展及快递配送提出了更高的要求。其中城市快递配送要求逐步出现了高频次、准确时效性高、个性化服务、小批量等特点。在网购飞速发展的环境下,各类快递共同配送联盟应紧抓时代脉搏,适时提高自身发展目标,努力做到
任务型人机对话的目的是帮助用户通过对话的方式完成特定领域的任务,现阶段已被广泛应用在很多企业的智能客服中。训练任务型人机对话系统有多种方法,现阶段最流行的是基于强化学习的训练方法。虽然强化学习与其他方法相比有很多优点,但仍然存在一些问题。在使用强化学习训练人机对话系统的时候,往往需要构建用户模拟器。现阶段用于构建用户模拟器并训练人机对话系统的方法,往往存在多样性差、训练耗时过长等问题。为了解决这些
青海湖位于青藏高原高寒区、西北干旱区和东部季风区的交汇处,属于全球气候变化的敏感区和生态系统的典型脆弱区。湖泊水位的变化对青藏地区和西北地区的生态建设和可持续发展有着重要的意义。本文利用国家气候中心、青海湖水利信息网、NCEP/NCAR—Ⅱ再分析资料以及哈德来中心的SST数据,采用相关分析、合成分析、回归分析、EOF分解等方法讨论青海湖地区降水、温度以及水位的变化特征和总体趋势,重点分析近31年来
当前,我国互联网创新与新工业革命正处于历史交汇时期。工业与互联网结合的模式日渐成为提高工业制造效率的新突破口。国务院将我国工业互联发展分为三个阶段,以尽快让技术产业体系以及融合应用等全面达到国际先进水平。因此,众多急需转型的工业制造的大中型企业利用经典的企业转型方式---并购,以推动信息化与工业化深入融合,为产业提供新动力,同时由于工业互联领域是以创新为关键驱动力的产业,因此企业创新能力是对并购绩
石墨烯是由一层碳原子构成的周期六方点阵蜂窝状二维晶体,拥有非常优异和独特的光、电、磁、力等物理和化学性能,其硬度、导电、导热等性能已经超过了目前已知的绝大部分材料,这些优异的性能致使石墨烯材料在高性能复合材料、智能材料、电子器件、太阳能电池、能量存储装置和药物载体等领域具有极其广阔的应用前景,并可能促使这些相关行业发生革命性的进步。由于石墨烯在基体中分散性与导电性的问题,导致其电磁屏蔽性能不高。采
城市化不仅仅被认为是一个从农村人口向现代城市集聚的发展过程,它也被社会各界普遍认为是推动现代中国社会经济快速增长的重要推动力和组成部分。随着现代城市人口的不断增长和迁移,城市化的发展过程自然也会伴随着现代城市人口数量的增多或现代城市人口规模的扩大。而如今城市化问题中,探索最优的城市规模对于建设发达城市群为核心的聚集经济具有重要意义;另一方面,与区域经济紧密相关的制造业企业正经历深刻变革,探索促进制
无人艇作为新式探索海洋的工具,在智能应用方面的相关研究得到了广泛的关注,无人艇自主导航技术是其实现智能化的关键。随着人工智能特别是强化学习的快速发展为无人艇路径规划问题的解决提供了新方向。本文通过对强化学习进行改进,将其应用于无人艇全局路径规划问题中,并通过将其与局部路径规划算法结合,保证无人艇在有效躲避障碍物、顺利到达目标点的同时,规划出一条最优路径。主要的研究工作如下。首先,通过对无人艇发展现
医学图像分割旨在自动勾勒医学影像中对应着人体结构或病变的区域,对疾病诊断、人体结构区域量化、医学影像可视化等有着重要的意义,其也一直是计算机视觉领域一个广受关注的研究课题。医学影像有多种成像模态、也可以从多个器官采集,不同影像间存在显著视觉差异,导致面向不同成像模态和器官的医学影像分割算法研究过程相对繁琐和复杂。由于不同医学影像分割算法中存在较大比例可以复用的模块,因此本文从加快算法设计的角度出发
缴费率作为养老保险制度核心参数之一,不仅关系着养老保险负担公平和制度偿付能力,而且关系着企业的微观企业稳健经营和宏观经济持续发展。当前,我国城镇职工基本养老保险制度处于改革费率的两难时期。一方面,经济发展进入新常态以及居高不下的企业缴费率要求政府将降费工作作为城镇职工基本养老保险制度改革的首要任务;另一方面,老龄人口增多,制度赡养率上升危及养老保险制度长期稳定运行的经济基础,基金收支失衡风险不断增
我国是海洋大国,拥有广泛的海洋战略利益。随着我国经济的快速发展和对外开放的不断扩大,国家战略利益和战略空间不断向海洋拓展和延伸,海洋事业逐渐成为国家发展的重要组成部分。在此背景下,各类海洋工程装备得到快速发展。动力定位船舶具有定位精度高、灵活性好和定位不受海洋深度限制的优点,因此,在海洋工程作业中得到了广泛应用。然而,船舶系统在信号传输和舵的执行过程中存在时滞现象。同时,船舶推进系统由于物理限制,