【摘 要】
:
当前以深度卷积神经网络模型为基础的人工智应用成为了研究与开发的热点区域。然而,由于卷积神经网络中有大量参数,模型部署代价高昂。这种高昂的计算成本阻碍了一些先进的模型有效的部署。为了解决此类问题,本文提出基于融合权值的剪枝算法,以及基于滤波器剪枝算法。在这两种剪枝算法上配合数据量化,对模型压缩。文中主要的研究工作如下:首先,根据深度卷积神经网络模型中的各个卷积层中的参数分布情况评价贡献率进行剪枝,也
论文部分内容阅读
当前以深度卷积神经网络模型为基础的人工智应用成为了研究与开发的热点区域。然而,由于卷积神经网络中有大量参数,模型部署代价高昂。这种高昂的计算成本阻碍了一些先进的模型有效的部署。为了解决此类问题,本文提出基于融合权值的剪枝算法,以及基于滤波器剪枝算法。在这两种剪枝算法上配合数据量化,对模型压缩。文中主要的研究工作如下:首先,根据深度卷积神经网络模型中的各个卷积层中的参数分布情况评价贡献率进行剪枝,也就是权值剪枝。通过分析卷积层与全连接层中的各个参数排序,同时结合BN层中的参数综合评价神经网络中卷积层对于整体模型准确率的贡献。通过对整个模型中所有相关参数的排序之后根据确定的剪枝比进行剪枝。最后结合参数量化对模型进行计算量压缩。通过实验证明,该方法能够使得网络模型降低成原模型的1/4,计算时间为原模型的1/2。其次,在深度卷积神经网络剪枝方法中除了上述方法中使用的权值剪枝之外,还有基于滤波器的剪枝方法。滤波器剪枝在硬件兼容性上比权值剪枝好,但压缩比率上弱与权值剪枝。因此本文提出了一种基于神经网络滤波器细化剪枝和权值量化的方法。首先将神经网络中的滤波器细化成条状的滤波器条。其次,通过对滤波器条的评估,来细化滤波器中的各个部分重要性,剪掉不重要的滤波器条,并重组剩余的滤波器条。最后对重组之后的神经网络的训练中插入参数量化处理,进一步压缩神经网络的计算量。实验结果表明,该方法能显著降低神经网络的计算量,并压缩模型中的参数量。实验显示,这种方法在resnet56网络上参数量能降低至原来的1/4,计算量降低至原来的1/5,同时模型正确率损失只有0.01。最后,为了将模型更好部署在移动手机端,本文提出了一种基于混合拓张率的空洞卷积方式应用于卷积神经网络模型中。由于空洞卷积算法会提升模型的计算量,本文将上述提到的模型压缩算法与空洞卷积的方式结合后,部署到移动手机端,实现移动手机端的部署。本文中使用COCO数据集对模型进行推理训练,搭建基于移动端的快速物品识别检测网络模型。
其他文献
1978年十一届三中全会拉开了我国改革开放的序幕。以跳绳项目为代表的民间体育项目在时代变迁的洪流中积极探索转型发展,并逐步脱颖而出。《旧唐书·魏徵传》中有云“以史明鉴,可以知兴替~1。”本研究将研究视角聚焦于改革开放以来上海跳绳项目的发展历程,客观地结合历史与现实,融合马克思主义基本原理与社会变迁理论进行研究分析。笔者通过亲历2021年上海多项跳绳赛事,运用口述史研究方法与多位改革开放以来上海跳绳
随着我国经济的发展和投资大环境的影响,SaaS行业涌现了越来越多的SaaS服务提供商。SaaS服务大多数是面向中小企业,解决中小企业的信息化成本高的问题。“单实例,多租户”的特性,使得当租户规模达到一定程度时,SaaS系统本身的成本,比传统软件更低。然而当SaaS系统在租户规模不高时,成本高于传统软件,是不合算的。在租户规模达到一定程度后,SaaS系统为了应对更多的租户,自身的软硬件成本也会增长,
未成年人犯罪问题屡见不鲜,是我国重点关注的社会议题。我国司法机关在处理未成年人犯罪这一问题上普遍采用预防矫治为主、惩罚为辅的原则,希望使用非刑罚手段帮助涉罪未成年人矫正错误行为、顺利回归社会。为了更好地实现这一目标,依靠司法机关一己之力无法良好地平衡未成年人刑事司法工作的专业性和公正性,必须引入专业的社会力量。司法社会工作作为司法与社会工作相结合的综合学科,拥有很强的专业性、职业性和规范性。司法社
赌博在我国的存在由来已久,禁赌政策也不断发展,根据我国自古以来治理赌博的经验可知,尽管在当今世界存在许多国家和地区允许或部分允许各种形式的赌博,在我国严格禁止各种形式的赌博活动是符合我国实际的。但是与此同时不得不承认,赌博依然屡禁不止,各种新型的网络赌博形式层出不穷,正在对社会造成前所未有的伤害。针对发展越来越迅速的网络赌博,我国出台了多项法律解决网络赌博中的各项具体问题,这些规定的出台对于我们治
刑事被害人是刑法学意义上的犯罪行为所直接或者间接侵害的对象,其犯罪损害包括物质和精神两个方面。刑事被害人具有遭受犯罪行为侵害的客观实在性、对侵害的主观排斥性以及受到侵害后多向可变性三个特点。刑事被害人保护应当以被害人个体恢复、消除犯罪带来的消极影响以及减少犯罪发生为目的,实现被害人保护的法治教育功能、恢复功能和被害预防功能,彰显被害人保护所具有的正义、人权等价值。总体来讲,我国当前立法对刑事被害人
《体育杂志》是由清末民初时期著名体育教育家徐一冰先生创办,创刊于1914年,且只出版了1914年3月与6月这两期内容。《体育杂志》中体育内容涉及广泛,其中更是真实记录了清末民初时期丰富的国内外体育传播内容。而由于目前学界对于《体育杂志》的梳理不完整和重视程度不足,这导致关于《体育杂志》的研究较为匮乏。事实上,《体育杂志》的独特性和贡献性是极其厚重的。《体育杂志》的出现对丰富近代体育杂志学术研究成果
随着经济和社会的发展,人口老龄化步伐加快。“银龄”浪潮的到来,人口老龄化已经逐渐成为我国发展中的一大难题。老年群体的身体健康状况表现出疾病种类复杂、并发症较多等特点,因此养老需求逐渐提升。传统的居家养老、社区养老模式已无法满足目前的养老压力。因此,机构养老逐渐发展成我国养老体系建设中的重要组成部分。然而,传统机构提供的服务出现资源衔接困难、养老资源供给不足等问题,为解决以上问题,医养结合养老模式在
随着互联网的发展,服务架构也面临着挑战越来越大,网关作为整个服务架构的排头兵,是直接处理客户端流量的入口,它的性能和可靠性,决定了整个业务的稳定性。在如今互联网复杂背景下,没有一种网关是“银弹”,云提供商、开源社区都有网关相关组件和技术,直接拿来用距离生产环境应对复杂场景稳定性和易用性还相差甚远。针对上述问题,本文在开源网关框架基础上设计并实现了一个应对高并发环境微服务网关,通过全链路异步非阻塞改
企业聘用医务社工为H省部分三甲医院提供免费的人力服务。一方面是为维护企业与医疗机构之间的信任关系,增强渠道粘性,另一方面筹款平台也需要医务社工嵌入平台的前端筹款业务。企业对医务社工两种工作目标的设定,是纯粹市场竞争、企业盈利的逻辑。在这种逻辑之下,医务社工服务走向了“异化”。H省多家医院引进了企业派驻医务社工,“异化”现象本应受到重视,但学界对企业派驻医务社工异化现象、行动困境方面的探讨却很少。所
随着新浪微博、Foursquare、Gowalla等社交网络平台的兴起,越来越多的用户们倾向于利用地理签到信息分享自己喜欢的兴趣点(Points-of-Interest,POIs)。在基于位置的社交网络中,一方面用户可分享其曾经访问过的位置信息,以展示其兴趣与偏好;另一方面商家亦可通过采集用户分享的位置信息,分析得出用户的衣食住行等活动轨迹,从而为用户提供更好的本地个性化定制服务。因此,在基于位置