卷积神经网络压缩算法研究

来源 :燕山大学 | 被引量 : 0次 | 上传用户:wj781228
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的来临,卷积神经网络的研究不断加深,卷积神经网络已经在处理计算机视觉领域包括目标检测、目标跟踪等许多问题上取得了优异的成绩。但随着卷积神经网络结构的不断加深,网络参数变得越来越多,计算量变得越来越高,使得卷积神经网络在计算资源有限的移动设备或嵌入式设备中的应用受到了极大制约。而网络压缩算法是解决上述问题的重要手段,因此关于网络压缩算法的研究显得极为重要。本文属于网络压缩的研究方向,研究内容包括如下几个方面:(1)提出了改进的基于卷积核裁剪的网络压缩算法,该算法将网络压缩过程分为三步:筛选、裁剪、微调。在冗余卷积核的筛选过程中,本文算法融合输出特征图L2范数的方差和卷积核L1范数作为判别卷积核重要程度的依据。其在考虑卷积核权值特征的同时,又加入了输出特征图的评价指标,实验表明根据融合特征裁剪后的网络比依靠单一准则裁剪的网络在微调后精度更高。在裁剪方式上,本文是对卷积核的整体裁剪,不会造成网络结构的稀疏连接,不需要稀疏卷积库的支持。在裁剪策略上,本文提出了非线性分段裁剪策略,其将网络裁剪过程分多次完成,并且每一次裁剪都针对网络中所有层。实验表明该策略相对于一次性裁剪,微调后网络性能更高,相对于逐层裁剪,其压缩过程更快捷。(2)提出了改进的基于知识蒸馏的网络压缩算法,该算法在知识蒸馏压缩算法的基础上,对学生网络加入了提示训练阶段。改进后的算法将学生网络的训练分为两个阶段完成,第一阶段,在教师网络和学生网络中引进了多个对应的提示层和引导层,并且使用教师网络提示层去指引对应学生网络引导层的训练。第二阶段,使用知识蒸馏算法定义的联合损失函数对学生网络做进一步的训练,以提升学生网络性能。实验表明本文算法在一定程度上能够把教师网络学习到的知识迁移到学生网络中,同时加入提示训练阶段后,本文算法所训练的学生网络比直接以知识蒸馏方式训练的学生网络能取得更高的精度。
其他文献
当前,践行社会主义核心价值观,已成为各行各业提高员工职业素养、增强自身核心竞争力的重要途径。对于煤炭企业而言,如何将企业安全文化建设与践行社会主义核心价值观有机结
目的 研究核因子κB(NF—κB)及抗凋亡基因Bcl-2在肝外胆管癌组织中的表达及意义。方法 应用免疫组织化学SABC法,检测NF—κB在48例肝外胆管癌组织及12例正常肝外胆管组织中的表
网络技术的出现和发展,不但实现了人际间信息交往的即时性,而且突破了传统人际间在信息量的大小、信息表达方式等方面的限制,对物流业的发展、产业的信息化、生产管理方式的
目的:观察动脉灌注结合全身静脉化疗治疗中晚期胰腺癌的疗效。方法:对12例中晚期胰腺癌患者选择性给予腹腔干动脉和/或肠系膜上动脉灌注吉西他滨和5-氟尿嘧啶,第8天再给予吉西他
摘要:目的:分别调查云南省巧家县、山西省夏县、甘肃省安定区三地留守儿童基本状况、生病治疗方式、参合情况等,分析比较三地留守儿童在现有医疗水平条件下卫生服务利用状况。方法:采用调查问卷对云南巧家县106名、山西夏县89名、甘肃定西市60名留守儿童卫生服务利用现状进行调查。结论:多数留守儿童及家庭因不够了解定点医疗机构、新农合待遇、报销比例及程序等,导致留守儿童不能充分利用现有卫生服务。  关键词:农
<正>思想政治工作是我党的优良传统和政治优势,为煤炭企业各项事业的发展提供了强大精神动力和思想保证。当前,随着社会的发展,煤炭企业的思想政治工作相对存在着淡化、弱化
李瑞环同志的《辩证法随谈》一书,是继《学哲学、用哲学》一书出版之后的又一部精彩力作,它收录了作者数十年学习和运用辩证思维指导实践、丰富人生过程中所积淀的1400多条的精
目前,移动机器人在军事、工农业生产、医疗和教育等领域得到广泛应用,代替人们完成了许多危险的、重复性的、繁重的工作,但在粮食储藏领域,机器人的优势并没有得到充分的体现,当前粮食储藏环节的工作多数由人工完成,工人工作效率低且健康得不到保障,因此研发一种平仓机器人具有重要应用价值。本文基于粮仓特殊环境,提出了一种两台全向轮机器人合作推动平粮装置平整粮食的方法,并建立运动学模型,通过Simulink仿真验
目的探讨微小染色体维持蛋白2(MCM2)在脑胶质细胞瘤中表达的意义及与Ki67的关系。方法应用免疫组织化学SABC法检测35例胶质瘤组织和5例正常脑组织中MCM2和Ki67的表达情况。结果
作为出口贸易总量世界第二的国家,中国并未拥有相应的定价权。本文在对定价权的经济内涵上做出简要解读的基础上,探讨了定价权对出口贸易利益的重要性,并进一步分析了决定和