神经网络加速算法的研究与优化

来源 :东南大学 | 被引量 : 0次 | 上传用户:linuxcici
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着神经网络研究深度的增加,神经网络需要解决的场景越来越复杂,网络模型也随之变得复杂。复杂的模型使得预测过程的耗时逐渐变长,如何在保证原网络精度基本不变的前提下,对神经网络的预测过程进行加速是论文研究的重点内容。
  论文主要研究了神经网络加速领域中的高效剪枝、低秩分解和硬件加速算法,并使用LeNet5、AlexNet、VGG11、VGG16等四种经典神经网络对上述加速算法进行实验验证。在此基础上对上述加速方法进行优化,进一步减少神经网络预测过程的耗时,提高原有加速方法的加速效果。
  论文主要工作如下:
  1、研究了基于一阶泰勒展开剪枝标准的高效剪枝算法。基于多个任务场景的实验结果表明,该剪枝算法能够有效剪除原网络中冗余的参数,提高网络的计算效率。并在此基础上提出两点改进:①根据剪枝的原理,将模型剪枝后进行重训练恢复精度时所使用的优化算法从随机梯度下降法变为动量优化算法,加快模型的恢复速度;②在高效剪枝的基础上调整原有的剪枝标准。基于多个任务场景的实验结果表明,优化后的剪枝算法相比较原算法,在剪枝百分比为30%的前提下,神经网络的精度提高10%,且预测耗时进一步减少。
  2、研究了规范多元分解和Tucker分解两种加速算法。基于多个任务场景的实验结果表明,两种低秩分解算法能够在保留权重张量中有效信息的基础上,提升计算效率,减少预测耗时。在此基础上,研究并提出了将Tucker分解与优化后剪枝算法相结合的融合加速算法。基于多个任务场景的实验结果表明,融合加速算法相较于单一的Tucker分解算法与剪枝算法,能够更大程度地减少模型预测消耗的时间,同时更大程度的保留原模型的精度。
  3、研究了基于FPGA的神经网络硬件加速算法。基于Zedboard开发板的图像识别实验表明,与在ARM处理器上运行的网络相比,在FPGA上对卷积神经网络卷积层的计算过程进行加速能够有效提高网络的运行效率,大大减少预测耗时。并在此基础上,提出了对参数进行定点量化处理的优化方法。实验结果证明,与原硬件加速方法相比,定点量化节约了硬件资源,进一步提高了网络的计算效率。
其他文献
超声速弹用颌下进气道具有压缩效率高,外阻小,与弹体融合度高的优势,但在宽马赫数范围工作时,常规的定几何方案为兼顾低马赫数下的性能往往会导致高马赫数下的性能偏低,而颌下进气道特殊的曲面结构又使得变几何调节难以实现。本文针对颌下进气道Ma2.5~4.0的工作需求,提出并设计了一种简单的变几何调节方案,该方案通过喉部滑块前后移动调节改变高低马赫数下的喉道大小,从而使进气道能够满足高低马赫数下的压缩量要求
学位
涡轮叶片是航空发动机的关键部件,其结构的可靠性直接关系到整个发动机能否可靠运行。有研究表明,涡轮叶片的高周振动应力是导致叶片失效的主要因素之一。引入摩擦阻尼是目前最为有效的抑制涡轮叶片振动的方法之一,目前尚无准确计算涡轮叶片摩擦阻尼减振效果的数值模型,因此有必要通过试验方法对涡轮叶片摩擦阻尼减振特性进行研究,本文设计了一种可进行涡轮叶片摩擦阻尼减振试验的试验系统,并对试验方法进行了研究:1)调研了
学位
煤炭作为我国经济发展的主体能源,具有其不可替代的战略作用,然而煤炭利用所造成的污染问题制约了煤炭的开发利用。以煤炭分级转化为核心的煤炭清洁高效利用技术可以有效解决这一矛盾。而煤的热解是煤分级转化的基础,因而以多研究手段深入探究煤热解机理,有助于实现调控煤热解产物分布,实现煤炭的清洁高效利用。以往研究者多通过试验手段对煤热解过程进行研究,这样只能从宏观产物分布层面推测煤热解机理,其结果既不直观也不准
学位
VOCs是大气污染物中PM2.5和地表臭氧的重要前体物之一,目前以石油化工行业为代表的工业源排放的VOCs已成为我国大气中VOCs的主要来源。近年来我国化工园区的数量迅速增加,化工园区排放的VOCs带来的一系列环境问题引起了社会各界的广泛关注。化工园区排放的VOCs会严重影响周边地区环境空气质量,同时由于各企业所属的行业分类及其生产工艺较为复杂,排放的VOCs组分种类较多,包含有多种有毒有害成分,
学位
羟基磷灰石生物陶瓷是一种性能优异的人体硬组织修复材料,具有优良的生物相容性,植入人体后能逐步与人体骨结合成为一体.但由于其力学性能较差,还不能成为理想的承重修复材料,因此有必要进一步深入研究以发挥其生物学性能的优势.该文制备了HAP/NiAl复合生物材料,并对该材料的原料粉末的制备及特性与复合材料的烧结工艺、力学性能、微观结构进行了比较深入的实验研究和理论探讨,为下一步的研究打下实验和理论基础.首
目前全世界都在研究如何攻克日益严峻的能源危机问题,电力行业的可持续发展也逐渐开始转向新能源的开发利用,其中太阳能光伏发电作为有广阔发展前景的绿色能源占有者重要地位。然而光伏并网发电技术的推广遇到的关键问题之一就是孤岛效应,本文以光伏发电为背景主要研究孤岛检测方法。  孤岛检测方法目前可分为被动式检测法和主动式检测法两大类。被动式检测法通过检测公共耦合点的电压、频率、相位、谐波等参数的变化判断;主动
该工作系统研究了锡改性锆钛酸铅Pb(Zr,Sn,Ti)O反铁电-铁电体系在电场、温度和压力等外场诱导下的相变性能,在此基础上研制一种能够在低压力下实现铁电→反铁电转变的机电换能材料.通过制备出颗粒细小均匀的氧化物混合粉体,降低了陶瓷烧结温度、提高致密度.Pb(Zr,Sn,Ti)O陶瓷适当的烧结温度在1260℃附近,在这个烧结温度材料的力学、电学性能和相变性能得到优化.通过变温第一周电滞回线和热分析
该文从半导体的光敏性、光敏器件的一般参数出发,首先对光敏二极管的种类、结构、工作原理、特性及其应用作了简单的概括,并对PN型和PIN型光敏二极管的重要的光电参数进行了定性和定量的描述.SIPT是一种新型固态光敏器件.它相当于多个PIN光敏二极管并联且自带一个线性好、增益高、频带宽、噪声小的静电感应晶体管(SIT)放大器的光敏探测器,因而具有灵敏度高、增益大等优点.文中给出了该器件的结构、工作原理、
该文的主要工作是在深入理解和分析两种目前流行的串行总线协议USB1.1 和IC的基础上,进行USB1.1设备控制器和IC从模式接口电路的设计.随后,把USB1.1设备接口和IC从模式接口电路整合在一起,形成一个USB-IC串行协议转换器,使数据可以在USB1.1总线和IC总线之间相互传输.首先,该文系统地对USB1.1以及IC总线协议,特别是USB1.1设备和IC从模式涉及的总线协议,进行了详细的
学位
该文介绍了有关TEA CO激光器的一些基本原理,利用TEA CO激光器件的理论计算了折叠腔TEA CO激光器的一些结构参数及输出增益系数,利用气体快放电的模型对快放电过程进行了分析计算.在实验上,我们首先对折叠腔TEA CO激光器进行了安装调试,实现了双通道放电激励折叠腔TEA CO激光器的双通道同时辉光放电;双通道同时辉光放电下,对气体快放电过程进行了实验研究;完成了双通道放电激励折叠腔TEA
学位