基于相似性的神经网络剪枝方法

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:ll13813568876
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了应对近年来深度卷积神经网络(CNNs)对于计算和存储需求的快速增长,研究人员提出了多种方法来实现模型压缩与加速,其中包括低秩分解,网络剪枝,权重量化,神经网络结构搜索和知识蒸馏等。在上述方法中,基于网络剪枝的算法通常能够在易用性和压缩加速性能之间取得良好的折中,因此格外受研究人员青睐。尽管现有的网络剪枝算法在一些特定的深度学习任务上展现出了不俗的压缩加速性能,这些算法在更广泛的实际应用场景中或多或少都存在一些不便之处。例如,有些剪枝算法需要添加正则稀疏项来重新训练模型或进行基于数据的复杂优化,还有一些剪枝算法则依赖于特定的硬软件库支持或预定义的目标网络结构。为了一次性解决上述问题,本文从一个全新的角度出发,探索神经网络内广泛存在的参数冗余现象并实现压缩和加速深度卷积神经网络的最终目标。更详细地来说,我们认为具有相似特征信息的通道之间存在高度的相关性,并且在很大程度上存在功能重叠。我们进一步猜测移除这些相似通道集合中的绝大多数通道并不会对神经网络模型的表征能力造成显著的影响。基于上述猜想,我们通过理论推导得到了两个有效的相似性指标来分别量化滤波器之间的结构相似性和特征通道之间的相似性。在这两个相似性指标的基础上,我们利用层次聚类算法和1范数通道筛选策略提出了一个高效的通道粒度网络剪枝框架。本文展示的基于这一框架的通道粒度剪枝算法可以被直接用于压缩和加速所有类型的预训练卷积神经网络模型,从而在推理时间延迟和预测准确性之间达到更好的平衡。此外,这些基于相似性的剪枝算法不依赖于预定义的目标网络结构,能够在限定的计算量和存储空间需求下自动地在原始模型中搜索更加高效的网络结构,这一特性在一定程度上可以被视为进行神经网络结构搜索。与传统的基于权重或激活值尺度的网络剪枝方法相比,本文提出的基于相似性的剪枝框架更为通用,因为我们不对权重或激活值的分布进行任何假设,例如需要有较大的方差和较小的极小值等,这一框架也因此适用于更广泛的实际应用场景。大量的实验结果充分地证明了本文提出的基于相似性的神经网络剪枝算法在压缩加速性能上优于现有的通道粒度剪枝方法。除了在标准数据集和比较有代表性的卷积神经网络结构上进行常规的图像分类实验以外,本文还进一步将这一框架拓展到基于深度可分离卷积的高效卷积神经网络模型MobileNet V2和基于生成对抗网络的生成模型DCGAN上,以展示其在实际应用场景中的泛化能力和灵活性。
其他文献
细胞检测一直是生物学探索的重要步骤,在传统的生物学中,对于细胞的检测的手段有流式法,免疫荧光细胞化学染色法,Elisa盒子检测,传统的检测方法具有周期长、费用高、过程复杂等问题。基于细胞的生物传感器在水的毒性和质量检测、微生物药敏分析、癌症研究、临床和卫生保健、食品科技与食物安全、药物及药理研究等方面也具有重要应用。同时,电容传感器一直存在着电场分布不均匀,精度方面难以保证。传感器表面吸附细胞通常
蛋白质-蛋白质相互作用(Protein-protein interaction,PPI)是其行使各种生理生化功能的基础,蛋白质互作研究对了解细胞功能的分子机制有着重要意义。目前,已有许多实验方法用于蛋白质互作检测,但实验手段通常费时费力,且实验解析仍停留在少数几种模式生物上。因此,发展一种新的蛋白质互作预测方法,从已有数据中学习蛋白质互作特征,再应用于园艺作物实现跨物种蛋白质互作预测,这无疑将加速
医疗图像分割被广泛地认为是后续医疗图像处理中最重要的一个步骤,能大幅提高医疗诊断的效率和准确性。然而,纯手工的医疗图像标注成本非常高,一方面医疗图像大多是3D的,其标注需要耗费大量的时间资源,另一方面标注需要专业的医生,且其准确率与医生的经验密切相关。随着近几年卷积神经网络的快速发展,自动分割大幅提升了医疗图像分割的效率。然而在实际诊疗应用中,现有自动方法的精度和鲁棒性仍有待提高。为了得到一个更佳
板坯叠轧是目前国内外生产复合板的一种新的制造工艺,具有板材质量高、组织均匀、性能稳定等多种优点,在核电、石油化工、输送管道等领域具有广泛的应用前景。常规情况下采用的大坡口手工电弧焊焊接效率低,人为因素影响大,焊接质量不稳定。因此,采用机器人自动焊接是组坯成形技术规模化应用的必然趋势,而横向窄间隙坡口的多层多道焊道规划是其中一项非常重要的关键技术,目前主要存在以下几个问题:(1)缺乏基体金属支撑造成
全景视频作为传统视频与虚拟现实的结合产物,近年来获得了学术界和产业界的广泛关注。由于全景视频中包含了整个空间场景的画面,其数据量将远高于传统视频,这给全景视频的传输和分发提出了新的挑战。一些研究者针对一对一的全景视频传输场景提出了视区自适应传输模型。这类模型将根据用户的观看视角对全景视频画面的不同区域进行选择性传输,从而降低了全景视频传输的网络带宽需求。然而,对于多个用户的全景视频传输场景,现有的
随着深度卷积神经网络(DNN)在各种计算机视觉任务中的成功应用,人们希望通过设计出更深或更广的网络结构,来超越已有的经典方法,获得更佳的应用效果。绝大部分流行已久的经典卷积网络,都需要依赖数十兆字节的权重存储和数十亿次的浮点运算,才能进行一次前向推理,这使得它们难以广泛部署在资源受限的边缘设备上(例如手机、摄像头等)。量化被认为是满足终端设备对内存苛刻要求的最有效方法之一。然而,大多数量化方法将相
随着近二十年来互联网技术的不断发展,网络攻击的数量不断增长,种类也日益繁多。在近些年来,作为互联网的重要接入点--网页(Web)应用在安全性方面也面临着越来越严峻的挑战。同时,作为机器学习的一个子类--深度学习在最近十年中也有了跨越式的发展。深度学习的方法被广泛应用在Web攻击的检测中。然而这些研究仅仅将关注点放在了如何使用深度学习的方法提高在特定数据集上的检测准确率,而没有深入探究Web应用中产
三维数据有着广泛的应用,比如自动驾驶、机器人、游戏等。和一维信号与二维图像相比,三维数据往往缺乏规则的空间结构并且对旋转鲁棒性有着更高的要求。近年来许多研究这从以上两点出发设计了适合三维数据的深度学习方法,极大地提高了三维数据分析的性能。三维旋转是一种重要的三维数据表达形式,可以更直接地表达三维空间中的相对关系,例如人体骨架关节的旋转,物体在三维空间中的姿态等。相比于点云数据,三维旋转有着独特的群
通道剪枝在卷积神经网络加速中有着广泛的应用,但如今已经遇到了瓶颈,主要源于两处挑战:1)对冗余性准确而直观的测量;2)模型卷积层之间的依赖性使得冗余性动态变化,如何对此建模。为此,本文首先引入了dropout技术,其中包含一个dropout rate的参数,表达了在训练中丢弃通道的概率。考虑到传统dropout难以优化,本文推导出了高斯dropout,使得dropout rate可以在贝叶斯框架下
随着无线通信技术的发展,无线设备的数量也在急剧增加。第五代移动通信技术采用认知无线电技术和新的多址接入技术等方法来提升无线系统的频谱利用效率。然而,射频干扰攻击会对通信系统的可用性造成严重破坏。干扰器通过发射非法信号,可以阻止合法节点接入通信网络,也可以干扰进行中的通信,降低节点的通信速率。如何在新的通信环境下防御射频干扰攻击就成为了一个亟须解决的课题。以Q-learning为代表的强化学习算法具