【摘 要】
:
深度神经网络已经被广泛应用在计算机视觉、自然语言处理、语音识别等领域。随着深度神经网络的层数越来越深,参数规模也越来越大,训练与运行深度神经网络的时间也越来越长,对机器设备的要求也越来越高,深度神经网络在手机等移动设备上的部署和运行也受到约束,因此减小深度神经网络的计算量和存储空间显得尤为重要。深度神经网络剪枝是一种通过剪枝减少网络参数冗余缩小网络规模的方法。本文从深度神经网络中的权重值出发,分析
论文部分内容阅读
深度神经网络已经被广泛应用在计算机视觉、自然语言处理、语音识别等领域。随着深度神经网络的层数越来越深,参数规模也越来越大,训练与运行深度神经网络的时间也越来越长,对机器设备的要求也越来越高,深度神经网络在手机等移动设备上的部署和运行也受到约束,因此减小深度神经网络的计算量和存储空间显得尤为重要。深度神经网络剪枝是一种通过剪枝减少网络参数冗余缩小网络规模的方法。本文从深度神经网络中的权重值出发,分析其大小以及其变化趋势,并采用不同的方法对权重进行剪枝以缩小深度神经网络的规模,降低其对硬件设备的要求、减少能耗以及更好地部署在移动平台上。本文主要工作内容如下:(1)设置探针获取深度神经网络的权重值,通过从曲线趋势、斜率、离散程度等方面对训练过程中的权重参数进行量化分析,发现生成式网络的权重在训练过程中不同阶段的特征,结合实验提出了一个可行的用于判断深度网络训练是否可以适时终止的条件。(2)采用细粒度的单个权重剪枝方式对深度卷积神经网络进行剪枝,实验结果表明该剪枝方法能有效减少参数冗余,剪枝后的网络更为稀疏,并能获得与原网络接近的准确度。(3)采用结构化的卷积核剪枝方式对生成式对抗网络进行剪枝,实验结果表明使用卷积核剪枝方式对生成器网络进行剪枝可以使得网络模型在剪枝后直接缩小存储空间和提升运行速度。(4)为检验剪枝带来的实效,尝试将剪枝后的深度网络部署在Android平台并获得成功,表明深度网络可以在经过简化后在低端平台部署应用。
其他文献
目的:探讨酸枣仁汤的抗抑郁作用及其机制,为其临床应用提供药理学依据。方法:1.药效学研究:(1)小鼠适应性喂养3天之后,根据体重随机分为空白对照组、氟西汀组(20mg/kg)、酸枣仁汤高剂量组(21.86g/kg生药)、酸枣仁汤中剂量组(14.57g/kg生药)及酸枣仁汤低剂量组(7.29g/kg生药)。各组连续灌胃给药16天,空白对照组予同容积的蒸馏水。分别在给药第13天、第14天、第15天进行
现如今癌症已经成为世界上危害人类身体健康的第一大疾病。化疗是癌症治疗的一个重要手段,然而化疗药物存在药物靶向肿瘤部位效率低,不能精确控制药物释放,存在不良反应等缺
野鸟是低致病性禽流感病毒的自然储存库,病毒传播与候鸟迁徙的关系也是国际上禽流感监测的研究热点。渤海湾和福建闽江河口是水鸟南北迁徙的重要中转站,也是东亚-澳大利西亚
桑植白族仗鼓舞湖南省桑植县白族乡特有的民俗舞蹈项目,也是一种体育舞蹈表演,蕴含丰富的体育价值。白族仗鼓舞具有非同一般的观赏性和表演美感,并入选为湖南省第二批非物质文化遗产项目。本文的研究通过田野调查更加深入的发掘桑植白族仗鼓舞的体育价值,在研究植白族仗鼓舞的训练现状的同时,结合相关文献归纳总结了仗鼓舞的历史起源、形态特征以及动作形式,并对当前仗鼓舞存在的问题运用了现代运动训练理论提出优化建议,吸取
随着汽车保有量与工程机械、农业机械数量的快速增长,柴油机将面临严格的噪声和尾气排放限值、低燃油消耗和高可靠性等挑战,对柴油机比质量、噪声和排放等也提出更高的要求。内燃机属于多噪声耦合动力装置,控制噪声一直是内燃机研究领域的难点。噪声控制的前提是准确识别和定位噪声源,近场声全息法除了能测量“传播波”还能测量近场“倏逝波”,在低频空间具有很好的优越性,被广泛应用于声源识别。因此,基于近场声全息理论开发
对于柴油机而言,采用较早的向缸内喷射燃油技术,能达到促进燃油和空气混合,改善缸内燃烧,降低污染物排放目的。但由于在较早的喷射正时条件下将燃油喷射到低压低温燃烧室中,燃油撞击燃烧室壁面成为普遍现象。导致大部分燃油铺展在燃烧室凹坑侧壁,油膜面积及厚度增大。导致缸内出现壁面淬熄效应,会在气缸壁面形成厚约0.1-0.2mm左右的不燃烧或不完全燃烧的淬熄层,增加直喷发动机的污染物排放。所以需要对气道-缸内气
近些年来,随着海洋遥感、海洋环境中目标的探测与识别技术的发展,海面散射及其与目标的复合电磁散射越来越受到国内外学者的重视。本论文主要围绕含卷浪海面电磁散射、含卷浪海面与目标复合电磁散射两个方面展开研究。具体采用迭代物理光学法(IPO)求解了一维、二维含卷浪海面的电磁散射;基于多路径散射思想和等效原理,运用物理光学法(PO)-迭代物理光学法(IPO)结合的方法计算了一维含卷浪海面与二维目标、二维含卷
金针菇(Flammulina filiformis)富含赖氨酸,而赖氨酸对儿童的身高和智力发育有良好的作用,因此金针菇被誉为“增智菇”。基于金针菇全基因组测序结果,筛选到金针菇赖氨酸生物合成途径中的关键基因,确定赖氨酸是通过α-氨基己二酸途径(α-Aminoadipate pathway,AAA途径)合成的。以金针菇AAA途径为基础,以途径中的关键基因为核心,研究其分子机理和调控机制有助于开发金针
背景和目的:肝脏作为人体最重要的代谢器官,承担着机体代谢、解毒、蛋白合成、胆汁分泌和免疫调节等多种关键的生理功能。肝脏的损伤直接影响人体健康,诱发多种疾病发生。病毒、药物和酒精等外界因素会引起肝细胞的大量坏死,导致肝功能代谢障碍或失代偿。临床上,针对症状较轻的患者,主要运用一些具有保肝作用的药物对肝脏损伤进行保守性治疗,而重症终末期患者只有依靠肝脏移植手术进行治疗。但是,药物治疗存在一定的局限性,
医疗卫生事业是关系广大人民群众切身根本利益的事业,目前随着经济的发展,医疗的进步,人民生活水平的提高,人民对医疗服务的要求也越来越高,越来越多的人都涌向大医院进行看病,造成目前大医院看病越来越难,挂号也越来越难,而社区医院卫生院等就诊人员越来越少。医疗卫生事业是公共管理中的重要组成部分之一,其领域的改革成为越来越多学者关注的焦点。针对现实情况,国家实行全面医联体建设。研究主要目的是探索T市从201