【摘 要】
：
模型剪枝是深度学习领域对模型进行压缩加速的一种有效方法.目前结构化的剪枝方法仅对整个过滤器的权重进行评估,但当一个过滤器被移除后,依赖过滤器而存在的关联权重也会被
【机 构】
：
四川师范大学 计算机科学学院,成都610101
论文部分内容阅读
模型剪枝是深度学习领域对模型进行压缩加速的一种有效方法.目前结构化的剪枝方法仅对整个过滤器的权重进行评估,但当一个过滤器被移除后,依赖过滤器而存在的关联权重也会被移除,现有的方法并没有考虑这部分权重的重要性,忽略了权重关联性.同时,通过试错的方式来得到每层的剪枝比例,工作量较大.针对上述问题,本文提出一种基于权重关联性的卷积神经网络剪枝算法.首先,在经过预先训练的模型上,该算法对整个过滤器权重与其相应输出通道在下一层的关联权重进行联合评估.其次对评估值进行全局标准化,实现评估值的全局可比较,移除整个模型中重要性较小的过滤器权重从而实现剪枝.最后对剪枝后的模型进行微调,恢复模型的准确率.在CIFAR10/100数据集上,本文对VGGNet、ResNet和DenseNet模型进行实验.实验结果表明,提出的方法可以有效地压缩和加速模型,且模型仍能保持良好的精度.
其他文献
光伏产业的面积统计是一个具有挑战性的问题,通过深度学习自动获取光伏面板的面积是一个可行的方案.为了快速准确地获取光伏面板的分布情况,本文设计了一个卷积神经网络模型用于提取遥感图像中的光伏面板.首先,以Res Net作为主干网络,结合金字塔池化模块构建了一个多尺度模型,以此表达各种尺度的光伏面板的视觉特征.然后,引入了非局部操作,融合长距离的上下文依赖关系,利用目标之间空间上的相关性更准确的提取前景
基于卷积神经网络的去噪方法对图像的加性高斯白噪声去除效果良好,但对图像的真实噪声去除效果欠佳.本文对加性高斯白噪声和真实噪声的灰度直方图进行统计分析,根据两者之间的分布差异构建出一个基于注意力机制的端到端盲去噪网络LDFNet,有利于学习真实噪声图像的复杂像素分布特征.LDFNet网络包含3个部分:特征自适应学习模块(L)、多尺度残差密集模块(D)与特征多路径融合模块(F).其中,模块L基于通道注
渗出液是糖尿病视网膜病变(Diabetic Retinopathy,DR)早期出现的特征之一,也是判断糖尿病视网膜病变严重性的重要指标.由于渗出液在亮度特征上与视盘具有很大的相似性,渗出液的分割通常需去除视盘的干扰.为了加强图像的细微特征,本文提出了一种新的图像增强方法预处理方法,使得渗出液比视盘具有更高的对比度.深度U-net在训练样本较少且对稀疏性目标分割时具有较好的效果.本文在U-net结构
社交网络的关键节点识别是网络数据挖掘的基本研究问题,根据用户角色辨识网络的关键用户对提升网络拓扑结构的稳定性具有重要意义.针对有向社交网络的节点重要度分析和用户角色识别,本文考虑网络的拓扑结构、节点的属性和节点之间的相互影响,提出新度量—拓扑势距离TPD,挖掘网络中的关键节点;提出一种基于二维有向拓扑势的用户角色识别模型,根据节点的有向拓扑势和局部影响力划分4类用户角色.以3个真实有向社交网络为例,剖析用户角色识别结果,分析拓扑势距离与7项常用的节点重要度指标(中心性指标、PageRank等)间的相关性,
通过把大量信息按照各自特点进行分块,简化庞大信息和数据的规模,粒计算为处理大数据提供了一种有效的方法.决策形式背景通过对象集和属性集以及他们之间的关系定义算子,从而
针对实际应用中用户在真实路网上进行移动服务(如出租车,救护车,外卖等)的查询需求,提出反向时间依赖路网上移动对象的k近邻查询问题.在分析现有查询算法的不足后,建立了反向时间依赖路网和基于标记点的最短路径树.并在此基础上,给出了一种针对反向时间依赖路网上移动对象的k近邻查询算法TDSPT-k NN.通过采用基于最短路径树的启发式函数等剪枝策略,进一步提升查询效率.最后,通过仿真实验对TDSPT-k NN算法和已有算法在多种情况下的对比分析,结果表明相比现有算法,TDSPT-k NN算法查询效率平均提升65.
作为检测数据集中不一致数据的方法,函数依赖受到了广泛的关注.近年来,硬约束、等值约束、编辑规则、差分约束等被相继提出,用于发现更多的不一致数据.然而,这些约束规则仅适
针对带有执行器故障、传感器故障、过程故障的运动控制系统,本文建立了基于时频特征结合的多故障分类模型.该模型包含3个模块,首先根据电机正常运行数据样本建立故障检测模块
随着群智感知技术的广泛应用,用户参与度成为影响群智感知技术发展的关键问题,提出一种基于Tangle网络的群智感知用户可信激励方法.首先,基于Tangle网络构建群智感知网络模型,通过去中心化的Tangle网络来克服群智感知平台面临可信第三方参与的安全隐患,制定Tangle网络的可信度标准.然后,通过可信度来衡量用户权重,借此来评估交易的可信性,将感知任务分配给更可信的用户.最后,对用户上传的感知数
K-Means聚类算法是data mining领域中最常用的算法之一.在进行海量数据分析时,K-Means均值聚类的计算时间与其要处理的计算量成正比.因此,数据量越大计算开销也越长.为了提升算法的运算性能,本文设计了一种基于CUDA模型的多级并行的K-Means算法优化方法.将K-Means串行算法并行化,并对并行计算部分进行包括线程块级,线程级,指令级,比特级在内的多级性能优化.首先,在计算样本点与聚类中心距离的核函数中,采用矩阵乘的思想对主要步骤进行并行处理,初步提升算法性能;然后,对核函数的线程块,