基于节点重要性软剪枝的神经网络压缩算法

来源 :武汉大学学报(工学版) | 被引量 : 0次 | 上传用户:nonstop_ma
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着视频行业的不断发展,受损视频帧检测应用也愈加广泛,为了满足视频帧检测中的低资源消耗要求,本文对卷积神经网络中参数量的来源进行分析,提出了新的卷积神经网络剪枝算法实现卷积神经网络的压缩。首先结合了卷积神经网络权重和数据传播过程提出了基于数据流动的节点重要性评估算法,然后引入了记忆力机制避免可能由于评估样本较少而造成的误剪枝,最后,本文基于节点重要性评估结果提出了基于重要性采样的软剪枝策略,进一步增加剪枝的稳定性。
其他文献
高光谱图像变化检测可提供地球表面的时间维变化信息,对城乡规划和管理至关重要。因具有较高的光谱分辨率,高光谱图像常被用于检测更精细的变化。针对高光谱变化检测的问题,本文提出一种基于协同稀疏与非局部低秩张量的高光谱图像变化检测方法。该方法首先求得前后时间点的高光谱差分图像,再根据差分图像中图像块的非局部分布特点,提取不同的非局部张量簇。然后基于协同稀疏正则化和低秩正则化建立协同稀疏与非局部低秩张量变化
期刊
为了实现养殖场环境下无接触、高精度的奶牛个体有效识别,针对SSD(Single Shot MultiBox Detector, SSD)算法识别准确率不高的问题,提出一种基于浅层特征模块的改进SSD(Shallow Feature Module SSD, SFM-SSD)算法。首先,将原始SSD算法的主干网络由VGG16替换为MobileNetV2,以降低网络的运算量,改善检测的实时性;其次,针对
期刊
对我国亚热带地区发育于花岗岩之上的一个黄红壤剖面进行了系统的环境磁学测量,对土壤样品的磁化率、等温剩磁、磁滞回线等常温磁学参数进行测量,对代表性样品进行热磁分析,并结合色度、常量地球化学元素和漫反射光谱参数,探讨亚热带黄红壤的磁性特征,以及在相对湿冷的气候条件下,黄红壤中的磁性矿物具有怎样的转化规律。结果表明:亚热带黄红壤中强磁性矿物为亚铁磁性的磁铁矿、磁赤铁矿,弱磁性矿物为反铁磁性的赤铁矿、针铁
期刊
为提高疼痛表情识别的准确性,提出一种融合约束局部神经域模型(CLNF)和贝叶斯网络(BN)建模的疼痛表情识别方法。该方法首先通过CLNF模型获取疼痛表情的关键特征点,在此基础上进一步得到携带大量疼痛信息的面部活动单元(AU),对AU加标签构成样本数据集,并根据定性专家经验得到BN条件概率之间的约束集合,随后利用变权重方法将样本数据集与约束扩展参数集进行融合完成BN模型的参数估算,最后利用BN推理方
期刊
在电力物联网中为了提高D2D(Device-to-Device)网络的频谱效率和系统能效,考虑不完美信道状态信息(Channel State Information, CSI)的影响,提出了一种鲁棒能效最大的资源分配算法。考虑D2D用户最大发射功率约束、蜂窝用户功率约束和共道干扰功率约束,建立下垫式频谱共享模式下混合蜂窝/D2D通信的上行传输资源分配模型;考虑蜂窝用户干扰中断约束,基于最小最大概率
期刊
现有基于深度学习的立体匹配算法在学习推理过程中缺乏有效信息交互,而特征提取和代价聚合两个子模块的特征维度存在差异,导致注意力方法在立体匹配网络中应用较少、方式单一。针对这些问题,本文提出了一种多维注意力特征聚合立体匹配算法。设计二维(Two-dimensional, 2D)注意力残差模块,通过在原始残差网络中引入无降维自适应2D注意力残差单元,局部跨通道交互并提取显著信息,为匹配代价计算提供丰富有
期刊
预制叠合板构件质量问题是导致施工现场预制构件不能顺利安装的重要因素之一。提出了一种基于机器视觉的智能化检测预制叠合板构件的方法。首先通过预制构件生产线上的摄像系统进行图像采集,然后通过滤除噪声对图像进行预处理,通过Canny算子对边缘特征进行提取,Harris角点检测算法对图像内部特征进行提取,并将提取出的信息已储存信息进行对比。利用该方法对三块预制叠合板试件进行了特征识别及分析,结果表明:该检测
期刊
在深度学习应用于新型冠状肺炎CT智能识别的研究中,大量研究人员通过构建深度神经网络训练模型,从而理解医学影像数据内容,辅助新冠肺炎诊断。本文首先提出AMDRC-Net架构,其中的残差结构,通过恒等映射解决了网络退化问题,与此同时,针对残差结构阻碍新特征探索的新问题,受到注意力机制等最新研究启发,研究了长短注意力引导机制。随后,关注深度学习模型安全性问题,讨论基于梯度上升的对抗攻击方法;为了解决其单
期刊
随着视频行业的不断发展,受损视频帧检测应用也愈加广泛,为了满足视频帧检测中的实时性要求,本文对卷积神经网络中运算量来源进行分析,提出了一种基于特征图通道分解和卷积核通道分解的网络加速算法。并依此构建Group-Inception 结构。通过特征图通道分解的方式减少运算量,并能够自适应选择合适的卷积操作;利用卷积核通道分解技术在保证卷积效果和传统卷积相当的情况下大幅减少运算量。
期刊
为了高效、准确、自动获取植物叶片外形参数,提出一种基于多分辨率编码点云深度学习网络(MRE-PointNet)和自编码器模型的绿萝叶片外形参数估测算法。使用Kinect V2相机以垂直姿态获取绿萝叶片点云数据,采用直通滤波、分割、点云精简算法对数据做预处理,通过其测定的叶片外形参数反演出参数方程构建的绿萝叶片几何模型,并计算几何模型的叶长、叶宽、叶面积。将不同参数组合构建的几何模型离散成点云数据输
期刊