基于目标识别深度网络的模型压缩算法研究

来源 :中国科学院大学(中国科学院光电技术研究所) | 被引量 : 0次 | 上传用户:wmhgm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深层卷积神经网络(CNN)依赖的计算和存储资源严重制约了其在有限资源的嵌入式平台上的部署,为提高算法的运行效率,剪枝作为模型压缩应用最为广泛的方法之一,通过剪除网络中冗余的卷积核以减少网络的宽度或深度,减少了网络的参数量和计算量,加速网络前向推理。论文就目标识别深度网络的模型压缩算法展开研究,从网络宽度和网络深度两个不同层面出发,解决了剪枝过程中单一参数度量标准的片面性问题和卷积层相似度的度量问题,获得了更快且精度更高的轻量化模型。针对单一参数度量标准的片面性问题,论文提出了基于敏感度的集成剪枝算法并对算法进行实际应用。不同的网络与数据集对各种剪枝算法的响应存在差异,本文讨论了3种参数度量标准的有效性,将据其得到的3组卷积核重要性排名按位置相加作为得分,将卷积层同等比例缩减后的精度损失作为该层敏感度,先根据敏感度计算每一层的应剪除卷积核数目,再根据得分剪除每层不重要的卷积核。本文基于YOLOv3以及YOLOv3-tiny网络进行剪枝实验,数据集分别为VOC数据集的20个目标类与人这单一类别,剪枝后的轻量化网络结构更规整并且精度更高。YOLOv3参数压缩80.4%,推理时间为原始的58%,YOLOv3-tiny参数压缩92.5%,NVIDIA Jetson TX2平台上推理时间为原始的28%。本文还对算法进行实际应用,在简单目标类别、6类无人机类别、两类无人机类别数据集上分别做检测网络剪枝实验,轻量化模型的检测能力在速度提升的情况下没有明显损失,在实验室设计的TX2开发板上两类无人机的轻量化模型检测速度由1秒20帧提升至1秒36帧。卷积核剪枝虽然能够得到更窄的网络结构,加速推理速度,但是如果网络层数较深,卷积层间的数据I/O依然会耗费大量的时间,本文希望通过卷积层剪枝解决这一问题。针对相邻卷积层的相似度难以度量这一问题,论文提出基于特征图空间相似度的层剪枝方法。由于特征图间的差异很大程度上取决于空间边缘特征差异,本文通过计算相邻层特征图集合间的边缘特征的最小差值,差值越小说明相邻层间相似度越高,特征提取能力越相似,在层剪枝时可以只保留两者间的一个。由于YOLO系列的两层残差结构不适用层剪枝,本文层剪枝的研究对象是Efficient Net-lite做backbone的YOLO-Fastest-xl网络,文中针对残差块中不同的卷积层设计了相应的剪层方式并进行实验,根据实验结果分析了分组卷积对推理速度的影响,比较了不同剪枝方式的优劣,得到的轻量化模型剪除了19个卷积层,参数压缩34.6%,推理时间是原始的80%。相比较网络宽度比YOLO-Fastest-xl更窄的YOLO-Fastest网络,层剪枝得到的模型推理时间是后者的82.4%,且精度高0.013,验证了算法的有效性。本文主要解决了卷积核剪枝时单一参数度量标准的片面性问题,以及卷积层剪枝时层间相似度的度量问题,在两个不同粒度上对模型压缩,加速前向推理,对深度学习模型落地部署具有积极意义。
其他文献
闽南地区的成熟瓷器生产的历史可上溯至南朝,宋元时期,由于海上贸易的发展,闽南地区的陶瓷业进入了鼎盛阶段,窑口众多,产品丰富,远销海外.随着对闽南陶瓷研究的深入,窑业技术
本研究通过对新乡市2017各季节年PM2.5进行阶段性连续采样,结合空气污染物的在线监测数据,1分析大气污染物及PM2.5中化学组分的污染特征,结合同期正常人群体检数据,运用广义
社会安全事件因其巨大的危害性与传播的广泛性,一直是国家安全管控的重点对象。近些年来,国内部分行业快速发展的同时相应的安全管理办法未能及时跟进,导致各类事故频发;同时,由于我国国力的快速增长,许多境外反动势力动作频繁,尽其所能试图制造分裂与骚乱,社会安全事件防范的态势愈加严峻。随着互联网的快速发展以及以微博为代表的社交媒体广泛普及,每当事件发生时都会有大量的报道与讨论出现在互联网上,在其中蕴含了许多
乙烯工业是石油化工产业的核心,乙烯产量被公认为是衡量一个国家石化发展水平的标志。在当今全球石化企业市场竞争日益激烈的环境中,如何提升乙烯装置的高附加值产物的收率,以提升企业效益和竞争力,成为了尤为重要的课题。实时优化是一种高优化频率的自动优化控制方式。它以装置的工艺特性和实时生产数据为基础,能够在数小时的周期内,依据给定的优化目标和约束条件,完成对生产流程的寻优计算,并根据计算结果指导先进控制系统
近年来,城市化的快速发展导致空气污染问题日益严重,进而危害到人体健康。研究表明,大气颗粒物对人体的死亡率、呼吸系统、生殖系统、神经系统、免疫系统均有一定程度的影响,
光电跟踪系统是一种广泛应用于陆地或运动平台中对相对运动目标进行实时跟踪的精密观测仪器,其跟踪精度是衡量系统性能的一个重要指标。由于应用环境复杂、跟踪设备存在非线性摩擦等因素使跟踪系统存在较大不确定性,同时随着跟踪系统的跟踪对象的机动性越来越强,目标跟踪越难以实现,传统的控制方法无法同时满足快速度和高精度的跟踪要求。动态高型控制技术可以根据系统状态动态改变系统型别,在避免积分饱和前提下,同时提高稳态
素描人脸识别技术是异质人脸识别的一个重要分支,可以协助公安机关搜捕犯罪嫌疑人,在刑侦领域有着不可或缺的作用。目前,素描人脸识别技术所面临的主要难点在于素描人脸图像和光学人脸图像间存在着较大的模态差异以及现有的素描人脸数据较少。随着深度学习的快速发展,素描人脸识别技术有了新的突破。然而,当训练数据较少时,基于深度学习的素描人脸识别方法易出现过拟合和局部最小值的问题。这严重限制了素描人脸识别方法的发展
电子采购依靠效率高、成本低、透明性强等特点得到了各行各业的广泛应用,逆向拍卖作为电子采购的主要模式之一,无论是在实际市场中的应用还是在科研学术的研究中都是企业专家和科研学者们关注的焦点。随着近几年供应链集成化管理思想的发展,传统逆向拍卖模式的缺陷也逐渐显现了出来:一是只考虑采购商利益,而不顾及供应商利益的模式会严重影响到供应链的整体运作效率;二是供应商在竞标过程中的静态限制性定价行为在很大程度上会
《义务教育数学课程标准(2011年版)》对学生在数学上的全面发展提出了更高的要求。初中阶段的学生处于由数学基础知识向数学思维方法过渡时期,要想有效地实现学生在数学上的全面发展,需要提高初中数学的教学有效性。自新课标发布以来,越来越多的专家学者开始关注提高初中数学的教学有效性,关于它的研究也逐步从理论走向实践。本文以《义务教育数学课程标准(2011年版)》为背景,在相关教育学和心理学理论的指引下深入
为实现花生红衣的高值化利用,本研究以花生红衣原花青素(proanthocyanidins of peanut skins,PSPC)为研究对象,通过提取和分离纯化,得到纯度较高的原花青素,再进行成分分析,最后对其进行相关的功能性评价,所得结果如下:(1)以乙醇溶液为提取溶剂,经辅助超声处理,以单因素和正交实验对原花青素的提取工艺进行了优化,获得各因素对原花青素提取效果的影响主次依次为:超声时间&g