面向卷积神经网络的并行存储压缩机制

来源 :第 23 届全国信息存储技术学术会议 | 被引量 : 0次 | 上传用户:pjq521
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  近年来,大量的智能手机、嵌入式设备、传感器节点等设备产生了海量的数据,相比于传统的数据处理方法,基于深度学习的卷积神经网络可以更加智能地分析和处理这些数据。然而,卷积神经网络在计算和存储方面都是十分密集的,这使得他们很难被部署到资源受限的系统中,从而也限制了它们的广泛应用。本文基于卷积神经网络的特点,首先对原始卷积神经网络进行裁剪,剪去不重要的连接,从而将密集的卷积神经网络模型转换成稀疏模型,在这个过程中为了保证模型的准确率不受影响,需要对剩余的稀疏模型进行再训练从而使模型的准确率达到之前的精度。而稀疏模型的参数在计算机内部以稀疏矩阵的形式进行存储,于是我们对稀疏矩阵使用针对性的CSR策略进行存储,并取得了非常好的效果。观察到权重值占用了约79%的存储空间,我们就对权重值进行了量化处理,从而只需存储权重的索引值来实现压缩权重值的目的,在这个过程中需要对权重值进行聚类量化,如果选取的质心的数量过少则可能导致模型精度下降,所以应该根据情况选取合适数量的质心,本文使用均匀选取的策略对每一层参数选取了64个质心。经过量化处理后,可以发现所存储的每种索引的数量不是均匀分布的,为了进一步压缩,我们对这些索引值进行了哈夫曼编码从而实现了最大化的压缩效果。这个压缩过程可以在不影响精度的情况下,将原始的卷积神经网络模型压缩30倍。然后对这个压缩过程进行了分析,由于裁剪之后的稀疏网络需要进行再训练以达到原始模型的精度,所以我们只对后续步骤提出并实现了并行压缩卷积神经网络的系统架构,使压缩过程相比之前提升35%,同时对参数还原过程进行并行优化,使并行还原的速度提升大约30%。我们也发现,稀疏模型的再训练过程占用了大量的时间,如果能对稀疏模型的再训练过程进行并行优化则可以显著减少整体的压缩时间,我们也将这个问题作为后续的研究方向。对卷积神经网络模型进行压缩解决了该模型占用较大存储空间的问题,可以促进卷积神经网络的广泛应用。
其他文献
云计算依靠自身优秀的性能,灵活的扩展性,低廉的价格吸引着国内外企业将自身的业务迁移到云上.但是随着云上企业数量增多、任务种类增多、性能特征变复杂,用户很难在运行成本与服务需求的平衡中实现最优,所以用户为了简化操作申请过多的资源,造成了使用成本增加.许多典型的解决资源利用率低下的问题,都是从云提供商的角度优化放置算法,而用户选择将限制资源利用率增加;也有一些方法通过在云平台下的任务性能短时间采集并预
本文首先基于Landau Khalatnikov理论通过使用BSIM4模型来对NC-FeFETs进行建模,分析NC-FeFETs具有的栅极电压放大作用.之后考虑到阻尼常数对器件性能的影响,设置阻尼常数为主要变量,引入了基于反相器的延迟测试、功耗测试以及再生性测试,将得到的结果与相同条件下的MOSFETs进行对比,当阻尼常数为0.0001Ω·m时,NC-FeFETs在延时上与MOSFETs相当,并且
NVMe全称Non-Volatile Memory Express,非易失性存储器标准,是PCI-E SSD的一种规范。命名空间管理是最新NVMe规范中的一个固件功能,本文在基于PCI-E SSD的测试平台上设计和实现了命名空间的创建和删除算法,使得一个固态盘可以当做若干个固态盘使用;还实现了设备端的命令处理流程,可以通过命令分发、命令解析、命令数据传输等任务去处理在设备端的命令,最后根据NVMe
随着云计算和移动互联网的发展,前端的设备提供服务入口,而大量的数据存储和处理任务需要在后台的数据中心完成,数据中心成为云计算时代最重要的基础设施。与之相对应的是,企业级数据中心的规模越来越大,数据中心的自动化运营和维护所面临的挑战也越来越大。除了软、硬件故障以外,服务器的磁盘使用过高是数据中心运维中最常见的问题之一,且经常发生于系统负载最高的时候,严重伤害用户体验。通常对于服务器的运行情况等信息有
图作为一种重要的数据结构,广泛应用于社会各个领域,如最优运输路线、科技文献引用关系、数据挖掘、蛋白质分解、语义网分析等应用问题.随着人类社会信息化程度的提高,伴随这些领域产生的图数据量也在以爆炸式的速度增长.来自各类应用的图数据规模与日俱增,常规计算机难以一次性将数据全部从外存载入内存进行处理,只能在处理过程中对存储在低速、大容量外存中的数据进行多次访问,由此造成图数据频繁地在高速和低速存储设备上
随着当今的社交网络的快速发展,越来越多的图像被上传到云端.这些图像种类丰富多样,并且往往存在大量相似以及冗余.相似图像每时每刻都在产生,如连拍、游客在同一个景点拍摄的照片、不同人对同一物体或场景所拍摄的照片等.然而目前的图像编码算法如JPEG、JPEG 2000、JPEG XR等均只考虑图像像素间或者区块之间的相似性,忽视了图像之间内容上的冗余.与此同时,硬件的发展速度难以满足人们日益增长的存储需
二十一世纪以来,随着信息全球化的发展和电子商务、社交网络等新兴网络应用的普及,各领域都出现了数据爆炸的现象.KPCB的报告显示,目前全球网民总数已达24亿,Facebook每天处理25亿条内容,超过500TB数据,而twitter每天产生2亿条信息.在国内,2013年中国产生的数据总量超过0.8ZB,是2012年的两倍,相当于2009年全球的数据总量.数据的爆炸式增长使得分布式文件系统逐渐代替本地
近年来随着云计算、大数据技术的飞速发展,人们对数据存储能力、计算能力的需求呈现爆炸式增长,依靠传统的存储系统已经完全不能满足要求.高效的存储和计算能力成为当下面临的挑战.因此大量的分布式存储系统应运而生逐渐成为主流的存储和计算平台,如:GFS、MooseFS、Ceph、GlusterFS等等,分布式存储系统在数据分布均衡和系统容错方面的发展已经相对成熟,然而存储和计算之间的性能差距不断的扩大,在面
Spark是类似于MapReduce的通用并行计算框架,它拥有MapReduce的所有优点.不同的是Spark将中间结果缓存到内存,减少了磁盘的读写次数,正因如此,Spark能更高效地支持迭代运算.虽然Spark的缓存策略提升了系统性能,但缓存中间数据会占用更多的内存空间,在内存受限时,这会造成数据在磁盘与内存之间大量的换入换出,反而降低系统性能.我们发现Spark缓存的中间数据通常存在很大的相似
随着智能设备以及社交网络的发展,移动设备(如智能手机、平板电脑等)已经成为了存储数据的一种重要方式。因此为了扩展移动设备的有限存储能力、以及保证数据的可靠性,基于远端存储介质的移动设备数据备份系统开始大量出现。通过分析当前的存储系统架构,我们发现当前的移动设备用户通常具有多种不同的远端存储备份服务选择,如邮箱、云盘等等,然而,由于移动设备面临着多变的网络环境,同时存储服务提供商之间的服务具备一定的