【摘 要】
:
得益于大规模数据集和GPU高效的并行计算能力,深度学习技术在过去几年取得了飞跃式的发展。如今,深度学习在许多领域的性能都超过了人类表现,研发人员纷纷开始将这项技术产业
论文部分内容阅读
得益于大规模数据集和GPU高效的并行计算能力,深度学习技术在过去几年取得了飞跃式的发展。如今,深度学习在许多领域的性能都超过了人类表现,研发人员纷纷开始将这项技术产业化,智能音响、智能手机等一系列设备逐渐成为深度学习落地的首选。在过去很长一段时间,只有大型神经网络才能达到商用产品的性能要求。然而,许多设备的计算资源十分有限,无论从时间、空间还是能耗的角度,都无法满足大型网络的计算需求。为加速并压缩现有的神经网络,本文从以下三个方面开展研究工作:为找到卷积神经网络中需要重点优化的对象,本文首先统计了各个网络层的FLOPs以及Parameters。统计结果表明,卷积层是卷积神经网络中计算量最大的部份,而全连接层是参数占比最高的部份。接着,为了解模型压缩对精度的影响,本文又统计了 AlexNet的权重分布。实验结果表明,卷积层和全连接层中存在大量接近于零的参数,这部分参数对模型的贡献很小,因此可以在不影响原始精度的情况下压缩网络结构。在统计实验的基础上,本文提出了一种针对卷积操作访存连续性的加速策略。在深度学习框架Caffe中,卷积以矩阵乘法的形式实现。Caffe卷积包含两个主要操作,分别是im2col和gemm。im2col全称Image to Columns,这个操作主要负责展开输入图像。gemm是General Matrix-matrix Multiplication的缩写,它主要负责完成矩阵与矩阵之间的乘法运算。在以行优先的体系结构中,通过转置操作改变输入图像的数据排列,可以同时提升im2col和gemm的访存效率。实验结果表明,改进后的卷积加速比在40%左右。除了改进卷积操作,本文还针对模型尺寸过大的问题提出了一种新型的压缩算法。在一个预训练模型中,每层神经元都有固定的映射关系。由于卷积神经网络存在大量冗余,删除部分参数后依然可以保持原有映射。该方法通过移除冗余神经元与卷积核,将测试集中所有样本的的输入输出关系提取到更小的网络结构中。压缩后的模型不仅更小更快,而且精度不会受到影响。实验结果表明,压缩率在4到21倍左右,加速比在2到5倍左右。
其他文献
随着经济由高速发展转入增速换挡期,单纯的要素驱动已经难以维持经济的持续稳定增长,创新驱动开始成为经济增长的新动力,这促使我国的经济增长动力由要素驱动向创新驱动转换。同时,我国经济的飞速发展又离不开政府的有力引导,那么,无论是在要素驱动经济增长的过程中,还是在创新驱动经济增长的过程中,政府对经济的干预,是否会对这两个驱动过程产生影响呢?如何会,那么政府干预力度的大小对这两个驱动过程的影响又有何区别?
随着高速铁路列控系统的自动化程度越来越高,列控车载设备成为列车安全运行、提高运行效率的关键设备。该设备是典型的安全苛求系统,其安全性对于列车的安全至关重要。由于软件是车载设备的主要组成部分,为了保证列控车载设备能安全可靠地工作,对车载设备软件进行测试是必不可少的一环。目前,对于车载设备软件的测试大多依靠专家经验人工编写测试用例,这种测试方法耗时较长,效率较低,且容易造成遗漏。对于系统结构和功能逻辑
解决辍学危机需要更好地了解学生辍学的原因。然而,找出辍学的原因十分困难。与其他形式的教学成就一样,中职学生的辍学受到与学生生活相关的一系列因素以及学生个人、家庭、学校和社会环境的影响。在许多概念模型中,辍学不是一种独立行为,而是从出生开始受到人生活多方面影响的一个过程。然而这些因素应该如何诠释导致学生辍学的近端机制,又应该如何干预存在潜在辍学风险的学生,让其继续完成学业。研究发现,所有辍学学生在不
随着小批量定制生产方式的发展,企业的生产模式逐步转化为按订单生产(Make to order,MTO)和按库存生产(Make to stock,MTS)的混合模式。定制件需要根据客户的实际需求才能确定,通常按照定单来安排生产;而通用件在同种甚至多种类型下的产品内具备一定的通用性。由于定制产品的结构不同,通用件在不同订单中的需求量与提前期均不相同,对于通用件的历史数据进行直接预测具有较大的不可靠性。
时间序列是重要的数据形式,对时间序列的有效分析和精准预测具有重要的现实意义。时间序列数据通常具有长期的复杂非线性和高波动性,传统的时间序列分析方法效果不佳,还面临
随着时代的发展,金融业改革创新的步伐不断加快,商业银行之间的行业竞争愈演愈烈。面对市场监管与内部风险的双重压力,如何寻求创新型盈利手段,以更好的应对财务风险成了当下商业银行脱颖而出的决胜点。作为创新发展型银行的代表,XW农商银行借助其规模发展不断壮大、盈利模式日益提升的优势,同时注重提升其财务风险管理的水平。因此,对XW农商银行财务风险管理的研究,不仅可以提升其面对复杂市场环境的竞争力,而且可以基
分类作为机器学习中基本的问题之一,受到了众多研究者的广泛关注。至今研究者们已提出了很多解决分类问题的模型和算法。其中有一类算法:稀疏核方法,应用于特征向量表示的分
人类的健康一直与生活的环境质量有关,水资源作为生命之源,与人们的身体健康更有着密切的联系,同时对人们的经济社会发展也息息相关。城市饮用水安全与城市化的发展有着密切的关系,城市的饮用水安全问题也更加突出。不仅水源地的保护问题为关键,对于饮用水的运输管道、饮用水的使用都应该加强法律保障。近些年来,国家对饮用水安全的相关制度构建十分重视,同时也采取了一些保障城市饮用水安全的管理措施,制定了水资源保护的相
采用仓库自主巡检智能盘点机器人是有效降低质押融资金融风险的技术手段。巡检机器人其能够24小时全天候对被质押的物品进行巡检,确保被质押物品的真实性,从而降低仓单质押融
目的:骨质疏松性椎体压缩骨折后椎体迟发性缺血坏死(Kummell病)的发病率随着老龄化逐渐上升,目前老年患者手术治疗上较为常见的选择为PVP,然而经国内外学者长期的随访发现,术后伤椎再塌陷的发生率高于预期,因此本课题旨在通过回顾Kummell病患者行PVP后原椎体再塌陷病例,找出再塌陷相关危险因素,从而为临床治疗提供参考。方法:通过回顾性研究,按照纳入及排除标准收集广东省中医院大德路总院2015年