【摘 要】
:
深度卷积神经网络在机器视觉的各个领域都取得了显著的效果,在图像识别、语义分割、行为检测、图像跟踪等任务上,获得了超过人类能力的性能表现。高性能的网络模型往往对硬件
论文部分内容阅读
深度卷积神经网络在机器视觉的各个领域都取得了显著的效果,在图像识别、语义分割、行为检测、图像跟踪等任务上,获得了超过人类能力的性能表现。高性能的网络模型往往对硬件的算力、资源和能耗等方面有更高的要求。在工程化应用的过程中,如何将这类资源消耗性的网络模型部署到资源受限的移动/嵌入式设备上,这仍然是一个亟待解决的挑战。模型轻量化技术是由工程派研究人员提出,在少量额外精度产生的前提下,用精简网络来替换深度网络的一种解决方案。这种方案通常是基于特定的规则,通过网络稀疏化操作后,获得相对紧凑的网络模型来完成既定的机器学习任务。本文采用了两种通道修剪策略来实现深度神经网络的轻量化设计,基于混合统计特征的选择准则以及基于强化学习的分配准则。具体而言,对预训练的网络模型而言,基于混合统计特征的选择准则采用了修剪阈值作为灵敏度指标来替代固定比例的修剪方式,选取了每个特征层中的统计特征作为观察值,进而构造评价函数,通过评估各个层中特征图的统计得分,来筛选出负得分的通道,通过掩膜屏蔽相关权重的更新。基于强化学习的分配准则围绕通道修剪任务,重定义了强化学习的动作、状态空间,采用了改进的Q-learning策略来确定修剪动作,同时保障精度的奖励函数可以帮助环境筛选出资源占用和性能表现更优异的稀疏网络模型。强化学习策略利用奖励来修正各个层之间修剪指标的分配问题,来筛选出不需要再被更新的通道,通过掩膜屏蔽相关权重的更新。为了保障网络模型具有良好的泛化性能,稀疏网络模型通过适当精调来进行重新训练,以实现性能不受损伤。模型裁剪日程结束之后,构建紧凑模型来保存源模型中的稀疏连接。相关实验是在CIFAR-10数据集和ILSVRC-12数据集上进行的,采用了Pytorch框架来进行训练和实施模型压缩策略。为了验证所提出方法的有效性和普适性,选用了主流的深度网络架构:VGG与Res Net结构,分别进行轻量化裁剪。实验结果证明了两种方法的有效性,能极大的提高网络模型的推理效率,降低空间占用,并且网络的识别能力基本保持不变。
其他文献
广泛性焦虑障碍(Generalized Anxiety Disorder,GAD)的核心临床特征为过度、不可控、持续性的焦虑和担忧。研究发现,GAD的终生患病率及年患病率分别为5.7%和3.1%,而且有着极高的致残率,致残程度与抑郁症相当,严重影响个体的正常生活。同时,目前GAD的治疗效果却不容乐观,其潜在的病理机制也尚不清晰。GAD被发现与情绪调节失常有密切联系。基于功能磁共振成像技术(func
眼睛为人类提供了感知外界事物最主要和最直接的视觉能力,其有效传递了重要的身份和状态信息。人眼检测即在图像中确定人眼的存在性、位置和尺度等。人眼检测作为模式识别中
机动车辆保险的运营机制是通过一个保单年内理赔数量与理赔额大小,预估下一个保单年的奖惩等级与续保保费。目前,世界上大多数国家的保险公司都使用奖惩系统,对相关问题的研
非编码RNA之间相互调控机制在很多动植物生命活动中发挥着重要作用,如细胞生长、分化和增殖。目前,在动物和人类疾病方面,miRNA与lncRNA互作关系的研究相对较多,它为动物和人
互联网的诞生改变了人们的生产生活方式,它从方方面面影响着人类的进步。然而网络中的流量逐年递增,多媒体数据的占比也越来越大,IP网络中存在着大量的冗余传输,导致网络效率降低,逐渐成为了网络发展的瓶颈。从电话网络发展而来的传统网络主要是面向连接的网络,在两台静态主机之间资源共享,而现如今已经由这种通信方式逐渐向网络中共享信息数据发展。信息中心网络的提出有效改善了传统IP网络中许多的弊端,它将信息与位置
甲硝唑是一种典型的抗生素药物,较易溶解在水中且难以被微生物降解,长期滞留在环境中会对人体造成危害。以二氧化铅电极为代表的电化学氧化方法可以高效地去除水中的甲硝唑,为水中甲硝唑的治理提供可行途径。但是二氧化铅电极镀层易脱落,并且电流效率不够高,使其电催化活性大大降低,需要通过改性克服上述缺点。本论文在含有硝酸铈、硝酸铋、碳纳米管的电镀沉积液中通过电化学沉积方法制备硝酸铈/硝酸铋/碳纳米管改性二氧化铅
马来西亚的建筑业是最重要的产业之一。它在发展和文明中起着重要的作用。此外,工程保函在建设项目中也起着重要的作用。工程保函一般是三方之间的协议:业主、承包商和第三方
在采集图像的过程中,受到各种因素的干扰,导致图像质量下降的这种现象称为图像退化;如果存在多种类型的降质因素,如噪声、畸变、离焦、抖动等,这时称为多重退化。图像复原是
目的:应用Revolution CT一站式冠状动脉CT造影+心肌灌注成像,分析NLR、hs-CRP与高海拔人群冠脉狭窄和心肌灌注的相关性,并探究Revolution CT一站式成像评估冠脉形态结构和心肌灌注的价值。方法:收集行Revolution CT一站式CCTA+MPI检查的高海拔人群92例,记录年龄、性别、民族、海拔等一般资料及3日内的NLR、hs-CRP值。根据CCTA结果进行Gensin
顾客感知价值被认为是能够促进消费者品牌忠诚、提升企业竞争力和影响企业长足发展的重要因素,受到了广泛的关注和重视。而口碑营销作为消费者自发的、宣传费用低且针对性较