基于进化算法的轻量化卷积神经网络模型搜索方法

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:anknn21
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着神经网络技术的发展,研究者们在众多机器学习任务上取得了前所未有的精度,但网络模型的大小和所需运算量也与日俱增。在尽量维持精度的前提下,如何降低模型的大小、提高运算速度成为了神经网络模型投入实际生产中急需解决的问题。为了提高神经网络的效率,研究者们提出了许多轻量化网络结构。但在实际生产中,针对具体问题的神经网络结构通常需要专家设计,带来了大量的人工试错成本。神经网络架构搜索技术是一种新兴的技术,通过算法自动搜索合适的网络架构,代替了人工试错,并能取得超越人工设计的效果。本文将神经网络架构搜索技术应用到轻量化网络模型的搜索中,并提出了新型的基于进化算法的模型搜索方法。经典的进化算法神经网络架构搜索使用锦标赛算法作为搜索策略,该方法有容易陷入局部最优的缺陷。本文受到群居动物繁衍方式的启发,提出了分组锦标赛算法。本文提出的算法以锦标赛算法为基础,将种群划分为若干子种群分别进行锦标赛,并添加了子种群的淘汰与补充机制,解决了锦标赛算法容易陷入局部最优的问题。针对轻量化神经网络的架构搜索问题,本文提出了搜索空间的确立原则,并以CIFAR-10为目标,设计了相应的搜索空间。另外,本文还通过合理的权重共享策略,大大缩减了网络架构搜索所需要的运算时间。在CIFAR-10数据集上进行了轻量化卷积神经网络模型的搜索实验结果显示,本文提出的搜索方法得到地最佳模型与其他网络架构搜索算法相比,在拥有最小的参数量的同时,准确率保持了足够的竞争力。同时,本算法所需要的运算资源仅为7个GPU日,搜索效率较高。
其他文献
目的:研究青海地区梗阻性黄疽患者发生胆道感染的高危因素及明确胆汁细菌分布和药物敏感情况,从而指导地青海区临床合理使用抗生素,预防和控制胆道感染并发症的发生。方法:收集2017年9月至2018年12月在青海省人民医院行ERCP治疗的梗阻性黄疽患者150例,收集患者的相关临床资料包括胆汁细菌学培养和药敏检测,分析胆道感染常见细菌及抗菌药物敏感情况,统计分析本地区梗阻性黄疸患者发生胆道感染的危险因素。结
DoS(Denial of Service Attack,拒绝服务攻击)是互联网领域危害最大的攻击方式之一,其通过瞬间大量占用网络带宽或者系统资源,使服务器无法响应合法用户的请求,从而造成拒绝服务。而分布式拒绝服务攻击(Distributed Denial of Service Attack)则是通过控制大量的机器,形成僵尸网络发动DoS攻击,极大地增强DoS攻击的效果,给系统造成严重威胁。本文针
由于物联网技术的兴起,无线传感器网络近年来在各类场景中被频繁地使用。其中无线传感器网络安全数据查询问题引起了诸多学者的注意。在传统多跳的无线传感器网络环境中,攻击
随着信息技术的迅速发展,人们对电子器件和电路集成度的要求越来越高。传统的晶体管无论在尺寸大小、性能等方面都面临着严峻的挑战。忆阻器是一种新型电路元件,它具有低功耗
为改善我国传统停车位无植被覆盖、地面渗透率低、易积水的现状,推进废旧物料资源化回收再利用,本文首先提出设计基于海绵城市生态理念、利用不同结构、材料铺装的停车位9种。具体方法为:利用碎石、粗砂作为停车位基底层,以透水砖、圆孔植草砖、废旧塑料托盘、空心镀锌管、废旧木材、工字砖、废旧轮胎、边坡防护网格、路牙砖等作为停车位透水层,以垃圾筛分土作为绿化用土,对于不能及时入渗的雨水采用修建集水池来收集、循环利
谐波减速器是公认的最优秀的机器人用传动齿轮,而柔性轴承则是谐波减速器当中的关键零件,它对谐波减速器的回转精度、使用寿命具有重要影响。轴承的振动信号包含丰富的信息,
随着互联网和网络安全的发展,隐蔽通信成为信息秘密传输的一种重要方式。网络隐蔽通信将信息隐藏在协议包中,使信息传输不被第三方发现。控制协议管控着隐蔽通信进程,扩展了隐蔽通信的功能。同时,控制协议自身的弱点也使隐蔽通信容易遭受攻击。论文分析了现有控制协议的弱点,提出了相应的弱点攻击方式,说明了协议的安全性设计还不完善。论文针对网络隐蔽信道控制协议展开研究,具有较好的理论和实际意义。控制协议隐藏在隐蔽通
伴随通信相关技术的发展,特别是基础管道类的传输技术发展,运营商的基础网络可支撑实现的政企客户业务解决方案也在不断变化,就实际政企客户信息化存量技术和增量业务需求来
木材作为一种快速生长的短种植轮作材料,已赢得世界各地的高度关注,其产品已被广泛应用于各种日常生活,如室内装饰,路面等。然而,木材对水敏感,特别是杨木,其亲水性大大降低
生活中的文字包含着丰富的语义信息,所以自然场景下的文字检测有着广阔的应用场景和重要的现实意义。但自然环境下的文字检测会受到诸如复杂背景、光照、字体、倾斜变形等诸