基于稀疏卷积的GoogLeNet网络硬件加速设计与实现

来源 :北京交通大学 | 被引量 : 3次 | 上传用户:klzvms1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能的快速发展,卷积神经网络成为了热门的研究领域。然而由于卷积神经网络的高复杂度计算,传统的CPU无法满足实时性要求。GPU虽然被广泛用于网络的训练中,但是由于其过高的功耗无法满足嵌入式应用需求。因此,FPGA凭借其低功耗、可重构、低延时的特点逐步成为研究的热点。目前传统在FPGA上部署卷积神经网络的方法主要是构建大型的乘累加阵列,该方法的最大性能受限于FPGA上乘法器单元的数量,并且无法利用卷积神经网络中参数量冗余的特点来获得更高的性能,针对这些问题,本文针对GoogLeNet网络,创新性的使用以下方法进行解决:(1)提出多维度算法压缩框架包括剪枝、聚类和量化三种压缩算法来对GoogLeNet网络进行轻量化以解决其存在的计算量大、参数量多的问题。根据剪枝率以及GoogLeNet网络不同卷积层参数的分布,动态调整剪枝阈值,将不重要的参数去除,使用K-Means聚类算法对GoogLeNet网络进行聚类,并提出根据网络卷积核大小以及非零参数量的不同设置不同的聚类类别来达到最优的聚类效果,最后结合Ristretto算法对GoogLeNet网络进行8bit量化探索以降低模型的存储空间。实验结果表明,同时使用三种算法压缩后的GoogLeNet网络模型的存储空间降为原模型的十分之一,计算量降为原模型的四分之一。(2)基于OpenCL异构计算框架,结合压缩后的GoogLeNet网络模型以及课题组所提出的ABM-Sp Conv稀疏卷积算法,设计了面向稀疏GoogLeNet网络的硬件架构。通过将卷积运算中加法、乘法解耦为两个阶段,先在加法单元中将权值对应的特征图数据相加,然后再将累加结果送到乘法单元中和对应的权值相乘,从而减少了乘法器单元的用量。并提出将GoogLeNet网络中的归一化层和卷积层相融合的方法来进一步降低部署的难度以及对压缩后的网络模型参数进行编码以解决传统稀疏卷积算法中访存效率低的问题。最后本文设计了一套完整的设计空间探索流程,通过对资源、频率、性能进行理论建模分析,得到本文架构在目标板卡上的最优性能,为跨设备移植提供便利。本文将GoogLeNet网络部署在Arria 10 GX FPGA开发板上并进行了实验,取得了非常好的结果。在最优电路参数的配置下,识别一张图片的时间为3.4毫秒,最大吞吐量为1456 GOPS,能效比是CPU的34倍,GPU的4倍,和之前最优的架构相比,速度提升了1倍,吞吐量提升了3倍。
其他文献
太赫兹波位于电磁波谱中比较特殊的位置,因此其具有很多独特的电磁特性,受到了人们的广泛关注。但在自然界中能响应太赫兹波的物质少之又少,且太赫兹波的产生、探测和操控在理论研究方面还有待完善,实验条件也存在一定的局限性。电磁超材料相关理论的提出以及微结构加工技术的发展,为研究太赫兹波提供了一种新的思路,这是因为可以通过人为地选取合适的材料、使用不同的结构以及控制结构的物理尺寸来设计响应太赫兹波的电磁超材
铁塔是用于支撑输电线或发射无线网络信号的结构,而铁塔构件制孔形位尺寸可以直接影响输电铁塔或者通讯铁塔等铁塔的搭建和安全。由于随着国内经济大幅增长、5G网络即将普及,输电铁塔和通讯铁塔越来越受到重视,从而对铁塔构件检测的要求不断提高,因此这就对铁塔构件制孔尺寸自动检测系统提出了研发要求,以便解决人工样板比对检测难以准确保证构件制孔的形位尺寸的精度及检测效率问题,进而提高铁塔构件生产制造信息化水平,最
Fornberg-Whitham方程是浅水波模型,在这类模型中,方程是否具有孤立子解和波破碎现象具有很大的研究意义,在本文中我们首先研究带有弱耗散的For-nberg-Whitham方程的局部适定
梭罗是美国杰出作家、超验主义哲学家,经典之作《瓦尔登湖》是其最早传到中国、影响最广的一部散文作品。超验主义散文家因秉持崇尚自然的思想闻名于世,而梭罗的独特之处在于
目的:明确同时性多灶肺腺癌组织中的表皮生长因子受体(Epidermal Growth Factor Receptor,EGFR)基因突变情况与患者临床病理学特征的关系,探讨其在多原发肺腺癌与肺内多发转
开展先进的海上移动目标检测方法研究,对于提高船舶情景感知能力、辅助船舶避碰、加强海事监管具有重要意义。然而,由于受海面风浪等天气海况的影响,海上移动目标的检测往往存在信噪比低、水面噪声干扰严重等现象,采用传统的检测手段往往难以取得令人满意的效果。本文首先分析了海上环境的特殊性,针对海浪杂波干扰对目标检测影响大、传统帧差法在海上移动目标检测中存在空洞现象以及误检、漏检等问题,提出了一种基于混合差分法
随着大众消费观念的转变与旅游业的快速发展,旅游诉求从美丽风景转向美好生活。为满足市场的转变,精品酒店必须具备不同的风格特征和主题形式供游客体验,因此对酒店设计提出了多样化要求。归纳精品酒店的设计特性主要来自于主题性与地域性两个方面,既在设计上从本土传统文化主题与地域特色资源中去寻找差异性与特殊性,并在酒店设计中加以创新表达。传统文化是中华民族的瑰宝,但是传统符号的搬用和堆砌已成为酒店设计普遍的现象
支持GPS的移动设备已经普及,大规模轨迹数据获取及挖掘分析随之成为可能。轨迹相似度计算是轨迹挖掘中的一项基本任务,为移动模式研究、出行行为分析、城市热门区域发现等应用奠定了基础,其研究具有重要的现实意义和实际价值。轨迹是空间中一条连续的曲线,通常以由样本点组成的序列形式出现。现实中得到的轨迹通常存在采样频率不一致、采样频率低、有噪声干扰等问题,基于轨迹点对匹配的相似度计算方法难以准确发现相似轨迹。
书面纠正性反馈是一种广泛应用于二语写作教学的策略,但对于基于书面修正性反馈的学习者修改模式对学习者书面语言发展的影响,学界看法不一。《普通高中英语课程标准(2017年
本篇翻译实践报告以当下最前沿的知识型领域——人工智能下的人机交互技术为课题,选取了国外人机交互最新研究成果《建立智能家居直觉多模式界面:“斯纳克”协议》第一至第六