基于演化算法的卷积神经网络剪枝算法研究

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:buyezhicheng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着近年来卷积神经网络的发展,卷积神经网络剪枝与压缩逐渐成为学术界和工业界所关注的热点。传统的基于手工设计度量剪枝算法需要依赖大量的人工经验和试验,而现存的自动化剪枝算法在通道选择上仍然使用手工设计的度量方法。为此,本文提出了两种基于演化算法的卷积神经网络剪枝算法,解决自动化剪枝问题。首先,为了解决自动化通道选择问题,本文提出了基于演化算法的自动化剪枝算法MetaSelection。该算法从集合搜索的角度,将剪枝问题转化为组合优化问题,并使用演化算法对卷积神经网络中的每个卷积的通道进行搜索。由于搜索空间庞大,本文引入了由粗粒度到细粒度的剪枝策略降低通道剪枝搜索空间,同时基于分布估计改进了标准交叉算子进一步加速演化算法的速度。接着,本文针对MetaSelection中存在的搜索空间大、剪枝模型评估可靠性的问题,提出了基于可伸缩网络的剪枝结构搜索算法EPSN。通过在预训练阶段引入可伸缩网络,进一步降低基于演化算法的自动化剪枝的搜索空间,提高演化过程中对剪枝网络性能评估的可靠性。可伸缩网络使用宽度系数将连续的宽度搜索空间离散化,在搜索时避免通道选择问题,直接对网络宽度组合进行搜索,大大降低了搜索空间。此外,针对原始可伸缩网络只能使用统一的宽度系数,本文使用改进的采样训练策略,使其能够适应任意宽度组合。本文在常见的图像分类数据集上,在多个常见的卷积神经网络上对提出的算法进行了测试,验证了算法的有效性。与现有的几种自动化剪枝算法和传统剪枝算法相比,在相同的目标模型规模限制下,本文所提出的算法得到的剪枝模型具有同等或更高的准确率。
其他文献
分布式电源在并入配电网过程中使用的传统逆变器控制缺乏惯量和阻尼,系统受到扰动时无法通过自我调节的方式回到稳态,对系统的稳定性带来极大挑战。虚拟同步机技术通过调节控
目前,随着科技的飞速发展,机械制造行业越来越向精细加工方向迈进,高精度测量在其中是非常必要的。同时,在航空航天、国防等领域,对设备的要求非常严格,保证测量系统的准确性、稳定性和适应性也是很重要的。本文面向测量任务中对传感器高精度测量的要求,基于可重构理论对并联六维力传感器的测量算法进行了研究。从刚度重构算法、维度重构算法、容错重构算法和传感器的静态标定实验等方面展开研究,对并联六维力传感器的测量算
虹膜识别因其具备唯一性,稳定性,防卫性等天然优势,被广泛应用在银行门禁、军队安保、边境安检、身份验证、煤矿考勤等领域,是生物识别领域最有前景的应用之一。目前,在实验
视觉伺服(也称为视觉控制)是指利用视觉传感器获取图像信息,然后来控制移动机器人的运动使其到达期望位置/姿态或者跟踪上特定轨迹。该项技术将计算机视觉算法与机器人运动控
在线口碑是用户在消费某产品或服务后发表在互联网上关于此产品和服务的评论。由于在线口碑具有可信度高、针对性项强、传播成本小等特点,在促进消费者购买方面,比企业广告投入有较强优势。新浪微博是国内最大的社交网络服务商,已成为最受欢迎的信息传播媒体,为在线口碑的传播创造了良好平台。为了深入了解口碑在新浪微博中扩散拓扑网络结构,本文爬取新浪微博平台上2018口碑最佳的电影“我不是药神”的热门口碑传播数据,并
Web3.0下电子商务的发展和社交网络平台的增加,使得网络上出现了多种短文本形式的信息,如微博、商品评论、新闻标题等。对于短文本的分类研究,常常使用概率主题模型作为短文本主题挖掘模型。短文本自身包含的数据信息量少、字数少,造成了概率主题模型对于短文本数据的处理存在特征稀疏的问题,因此如何对这些短文本进行有效分类是当前研究热点之一。首先,由于科技论文标题的文本仅有十几个词汇,使用常见的分词处理不能达
大丽轮枝菌(Verticillium dahliae Kleb.)是一种重要的土传性植物病原真菌,在世界范围内广泛分布。其寄主范围广泛,能够侵染200多种植物,造成巨大的经济损失。由大丽轮枝菌引起的植物枯萎病至今尚无有效的防治措施,主要是因为其在生长后期形成大量的黑色素化的微菌核。微菌核作为休眠结构和主要侵染源,在大丽轮枝菌生活史和病害循环过程中起关键作用。微菌核中的黑色素可有效抵抗不良环境,如紫
在过去的四十年间,中国的公路运输业得到十足的发展,截至目前全国公路总里程数已经达到495.95万公里。公路总里程数的增加对公路养护提出了挑战,路面裂缝的密封、污水管道的
在导弹的末制导阶段中,常采用景象匹配技术作为导航手段。而景象匹配区的选取是影响景象匹配系统性能的关键因素,是参考图制备中的核心技术,因此,通过景象匹配适配性分析,建立一个适应性强的适配区选取准则具有重要的现实意义。现有的景象区域适配性分析工作,无论是基于光学图像或是SAR图像,都是通过提取与适配性有关的传统的图像特征参数,进一步根据阈值逐层筛选出适配区,或是由此训练分类器来对适配性做出预测。由于景
在经济发展新常态的背景下,并购作为企业发展和扩张的一种途径,能够实现产业结构升级和资源优化配置这两大功能,能够整合过剩产能并产生经济发展新动力,因此,近年来我国企业