基于部分二值卷积的嵌入式终端神经网络性能优化技术研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:zxc473138
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度卷积神经网络(Convolutional Neural Networks,CNNs)凭借其优秀的准确率在图像分类、目标识别等多个领域取得了巨大的成功。传统上,这些网络模型通常部署于配有高端GPU的云数据中心。这种以云端为中心的应用框架可能导致用户隐私泄露、延迟时间长等问题。在没有互联网的情况下,这些框架甚至无法使用。因此,越来越多的研究着眼于直接在嵌入式终端上部署CNN网络模型。然而,资源受限的嵌入式设备往往无法承受运行CNNs模型所带来的负载。为了解决这些挑战,一些简单有效的网络模型压缩及加速方法被提出。但是,如何有效地减少CNNs带来的负载依然是一个具有挑战性的问题。为了在加速和压缩网络模型的同时依然保持较高的准确率,本文提出了一种基于部分二值卷积的神经网络模型性能优化框架——TaijiNet。TaijiNet可以自动衡量网络模型各层的冗余性和各卷积核的重要性,并据此有针对性地对网络参数进行二值化。TaijiNet主要由四个部分组成:PCA(主成分分析)累积能量分析、部分二值卷积策略、逐点卷积层附加以及模型重训练。首先,TaijiNet以一个给定的预训练网络作为输入,根据各层的PCA累积能量曲线及预先设定的阈值得到各层的二值化比例。然后,TaijiNet使用部分二值卷积策略衡量每个卷积核的重要性,并将原始卷积层分解为重要全精度卷积层和非重要二值卷积层。接下来,TaijiNet对非重要二值卷积层附加逐点卷积层以帮助其更好地近似全精度状态。最后,TaijiNet对整个网络模型进行重训练以恢复因二值化而减少的准确率。此外,TaijiNet还提供了输入二值化的可选项以牺牲一定的准确率进一步加速模型的运行。本文的主要贡献如下:(1)提出了部分二值卷积策略,该策略通过核分组、层重构以及通道重排三个步骤,在不影响网络模型准确率的情况下根据卷积核重要性重构原始卷积层,从而在提高模型可变性的同时减少量化带来的准确率损失。(2)探索了卷积层的冗余性以及卷积核的差异性,提出了使用PCA累积能量曲线衡量给定网络模型各层的冗余性;使用L1均值衡量各卷积核的重要性,从而使得TaijiNet可以针对不同的冗余性和重要性执行差异化的量化策略。(3)提出了一种针对二值网络的准确率提升方法,利用逐点卷积层和缩放因子优化二值权重对原始权重的近似,并通过类似one-hot的初始化方法防止逐点卷积层的引入对原始网络的影响。本文在ImageNet和CIFAR-10数据集上进行了实验以验证所提框架的有效性。实验结果表明,TaijiNet在二值权重的情况下,可以使得AlexNet模型获得26倍的压缩率以及57.9%的Top-1准确率。同时,近85.7%的浮点数乘法操作可以被转换为比特操作。在二值权重二值输入的情况下AlexNet模型可以在TX1平台上获得10倍到22倍的加速。通过使用不同的PCA阈值,TaijiNet可以牺牲一定的性能换取准确率的提高以适应更多的使用场景。
其他文献
本文的研究目标为两个:1、通过规律性的总结为以后的传统食品家庭制作产品的设计创新提供一些参考,节省企业在家庭食品制作产品种类的选择上花费的探索成本;2、通过设计满足
物流业作为国民经济的基础性产业和战略性产业,促进经济增长的同时,也增加了环境压力。《物流业发展中长期规划》中指出,我们要以提高物流效率、降低物流成本、减轻资源和环
随着核电事业的迅速发展,安全已成为核电存在和发展的基础。人们通过对核电厂事故的统计分析发现,人因失误是导致核电厂事故的主要因素之一。操纵员的主要任务是通过主控室仪
近年来,随着我国经济的快速发展,虚开增值税专用发票行为愈演愈烈,造成了国家税款的大量流失,严重破坏了我国税收秩序,影响了国家经济社会的健康、有序发展。虚开增值税专用发票的管控是否有效直接影响到我国社会主义市场经济秩序的稳定,如何根据当前我国虚开增值税专用发票管控中存在的问题,提出能够完善我国虚开增值税专用发票管控的政策建议,对于维护我国经济税收秩序,维护国家税收安全至关重要。文章首先从虚开增值税专
高光谱遥感技术利用数百个连续细分的波段对目标区域同时成像,形成了包含丰富谱空信息的三维高光谱图像,该技术已广泛应用于天文探索、军事目标检测、国土勘探等多个军民领域
目的:探讨高血压患者中心动脉压与其相关因素的关系。方法:收集2016年11月至2018年3月于遵义医学院附属医院高血压门诊就诊的初诊(未服用降压药物)及停服降压药一月以上的高
21世纪以来,“三农”问题受到高度重视,在一系列强农惠农措施的作用下,“三农”工作取得长足的发展。进入新时代,我国社会的主要矛盾已经发生转变,而这一矛盾在农村表现尤为突出。习近平总书记在十九大报告中提出实施乡村振兴战略,在乡村发展大机遇的吸引下,农民工返乡潮规模越来越大,越来越多的农民工从被动返乡转为主动返乡。主动返乡的新生代农民工,他们既具有一定的经验技术、人力资本,又深受城市现代文明理念的熏陶
随着技术的发展与社会的进步,产品的耐用性与企业更新换代速度的加快成为了一种矛盾,越来越多的企业开始开展以旧换新活动来解决这个问题。S公司作为国内最早开始实施以旧换新的企业,在开展以旧换新活动方面的经验丰富,但是通过对S公司以旧换新活动的长期观察,发现存在以旧换新补贴过高的问题,这会导致消费者产生补贴依赖从而导致长期开展以旧换新活动的效果降低,本文拟通过建立多周期马氏决策过程模型对该问题进行求解分析
目的:调节人视网膜色素上皮细胞中葡萄糖转运蛋白的基因表达,探讨下调葡萄糖转运蛋白相关基因表达的可能。方法:采用基因编辑系统对人源视网膜ARPE-19宿主细胞进行相应的基因
分析师在加快资本市场信息传递方面发挥重要的作用,他们将收集到的上市公司信息,进行专业的分析和解读,从而得到较为全面的财务分析数据和未来盈余预测信息。投资者在进行投