基于FPGA的脉冲神经网络处理器研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:wx669
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
卷积神经网络(Convolutional Neural Network,CNN)已在深度学习领域得到了广泛应用。但随着任务复杂度的提升,神经网络模型的参数量和计算量急剧增加,模型训练和推理所消耗的硬件资源和功耗也随之增大,给算法模型的硬件部署带来了巨大挑战。而脉冲神经网络(Spiking Neural Network,SNN)的事件触发机制具有计算和存储需求少、功耗低的优点,因此逐渐成为深度学习领域的研究热点。但SNN的激活值为离散值,CNN的训练方法无法直接应用。鉴于此,将完成训练的CNN转换为SNN已成为提升SNN准确率的有效方法。同时由于计算机处理器并行度低、功耗大,而类脑芯片开发成本高,因此基于FPGA开发具有高硬件执行效率的脉冲神经网络处理器对于SNN的工程应用具有重要意义。现有的SNN转换算法可以实现准确率较高的CNN到SNN转换过程,但该方法对输入值的脉冲编码过程以及最大池化层和Softmax层转换算法存在复杂的逻辑运算和大量乘法计算,硬件资源消耗仍然较高。因此,本文针对性地提出了动态阈值激发频率编码算法,通过神经元的累积激发过程将像素值转换为脉冲序列,以大幅度减少像素值脉冲编码过程的乘法计算。此外,还提出了基于脉冲计数的最大池化层和Softmax层转换方法,该方法通过统计脉冲值数量的方法将脉冲序列转换为脉冲频率,以简化计算逻辑。在CIFAR10数据集上的测试实验结果表明,CNN转换得到的SNN,其图像分类准确率为86.17%,与原CNN网络的准确率接近。随后本文基于FPGA设计了脉冲神经网络处理器。针对神经网络参数存储量和计算量大的问题,本文采用int8量化算法将模型参数值从32位浮点数映射为8位整型数。本文根据脉冲神经元的累积激发机制特别设计的脉冲计算单元,将卷积的乘加计算转换为累加并激发脉冲的过程,利用事件激发的稀疏性降低计算动态功耗。对于最大池化层和输出结果统计层,本文设计了基于脉冲计数的频率计算模块,并根据脉冲序列的地址确定输出结果。为了提升数据传输效率,还针对设计了多层并行复用机制,实现不同计算模块间数据的高效传输。原型仿真实验结果表明,与CNN处理器相比,该处理器的功耗降低了 77.4%。且该处理器在MNIST测试集中得到了 96.31%的准确率,在规模更大的CIFAR10测试集中得到85.61%的准确率,与CNN模型的准确率接近。本文设计的SNN处理器能以更低功耗实现图像识别任务,为SNN在计算机视觉算法中的应用部署提供了技术支撑。
其他文献
电源管理芯片是当今系统芯片应用中的关键模块,特别是在低功耗和高集成度的应用中。随着现代集成电路的不断发展,降低供电电压以降低功耗,同时将各种模拟、数字和射频模块集成在一个片上系统(System Ona Chip,SOC)上,多个电压调节器以满足不同模块对不同调节电压的需求。在不同的片上电源管理候选模块中,低压差线性稳压(Low Dropout Regulator,LDO)模块被广泛应用于小尺寸、低
学位
随着半导体产业的发展,集成电路规模不断增大,工艺水平进入深亚微米和纳米时代。随之而来的晶体管密集度的提升使得测试难度与测试成本不断攀升。而降低测试成本对于集成电路的快速且可持续发展有着重要的意义,面对愈发庞大的电路规模,对于基于扫描链的集成电路测试来说,完成高质量测试所需要的测试集规格也愈发庞大。测试集规格的超额会使测试时间加剧的同时,也会使自动测试设备存储资源压力加剧,造成测试成本的增加。如何在
学位
绝缘体上硅(Silicon-on-Insulator,SOI)技术一直是微电子领域的研究重点,相较于体硅器件,SOI器件由于具有全介质隔离、无闩锁效应以及耐高温等优势而得到广泛应用。但是随着器件特征尺寸不断缩小,其可靠性问题愈加严重,其中由负偏置温度不稳定性(Negative Bias Temperature Instability,NBTI)引起的性能退化已逐步成为影响PMOS器件寿命的主要因素
学位
随着集成电路工艺水平不断提升,芯片设计难度逐渐增大。为了提高芯片的设计效率,以IP(Intellectual Property)复用为基础的SoC(System on Chip)设计方法越来越受到芯片设计厂商的青睐。随着物联网和人工智能技术的发展,SoC中需要处理的数据量急剧增加,DMA(Direct Memory Access)技术是一种实现芯片中各个模块之间数据快速交换的有效方式。该技术采用D
学位
视频采集与显示系统和生产生活密不可分。随着硬件设备的不断更新和功能需求的不断增加,相关产品迭代日新月异。目前,针对视频采集与显示系统的发展主要有超高清和实时性两条路线,超高清的实现需要较为专业的传感器和复杂的处理算法,只适用于某些特定场合;相对而言,实时性的需求多用于智能家居、安防等领域,此路线经济实用,具有更高的性价比。本研究来源于企业项目,为了实现视频采集实时显示的目的,基于FPGA(Fiel
学位
随着集成电路产业的飞速发展以及IP(Intellectual Property)集成技术和工艺制程的不断提升,芯片的规模呈现指数级增长,结构也愈加复杂,因此流片失败造成的损失也让企业更加难以承受,芯片验证的准确性和效率性已然成为了行业的共同追求。为了解决上述痛点问题,业内对验证工作提出了更高的要求。当前阶段,传统的定向激励测试已经无法满足芯片功能验证的需求,随机化验证逐渐成为了主流选择。与定向测试
学位
寻找清洁能源一直是当今世界的热门主题,如何将低密度的太阳能转化为高密度的化学能(氢能)以实现“碳中和”,还需继续推进光催化产氢新材料的研究。二维材料是一种性能独特且具有良好前景的材料,然而,其中的单层SiH载流子迁移率偏低,并且单层InSe和SiH存在可见光区吸收系数较低、光谱范围窄等缺点,都使它们在光催化或光电器件等应用受到了极大的限制。研究表明,构建范德华异质结可以有效地调控单种材料的能带结构
学位
近些年来,随着机器学习的快速发展,卷积神经网络(Convolutional Neural Network)和循环神经网络(Recurrent Neural Network,RNN)在图像处理和与时序有关的问题取得了较好的成绩。RNN最常使用的变体LSTM在其结构基础上引入了门单元控制信息的输入、保留与输出,克服了普通的RNN在训练时发生的短时依赖、梯度消失和爆炸等问题,使神经网络对于之前较长时间的
学位
高通信速率、高系统可靠性等电子系统特性要求板级系统的仿真须具有更好的精确度和更快的仿真速度,因此良好的IBIS模型对元器件板级仿真至关重要。一个IBIS模型需满足对SPICE等工艺级模型以及元器件实物测量数据的高关联度。目前针对IBIS模型的研究中主要是仿真方面的研究,即通过仿真的方式实现IBIS模型的建模或者IBIS模型解析器的算法研究,及采用IBIS模型完成板级应用仿真从而确定具体器件板级系统
学位
高速串行SerDes(串行器Serializer及解串器Deserializer的简写)以差分方式,通过加重/均衡,时钟恢复等技术实现高速通信,具有芯片所需引脚少,传输距离长等优点,逐渐取代了传统并行总线,已成为高速/大规模FPGA/ASIC不可或缺的通信模块。SerDes芯片设计研发过程中,验证环节必不可少。通过验证,可提升芯片设计研发的效率,降低流片成本,提供质量保证。目前SerDes验证主要
学位