基于并行进化算法的高效多目标神经架构搜索

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:bd235
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近十年来,深度学习在各个应用领域(例如图像分类,语音识别,自然语言处理等)都取得了不错的效果,其主要依赖于神经网络架构的精妙设计。当前采用的网络架构大部分均由人类专家手动设计开发,过程耗时且易出错。因此,神经架构搜索(Neural architecture search,NAS)技术应运而生。与传统的自动化机器学习技术相比,神经架构搜索不再局限于深度学习中学习率等超参数的优化,而是将搜索范围扩展至卷积核种类、卷积核大小等更加关键的架构超参数。在神经架构搜索过程中,一个深度网络架构的完整训练和评估非常耗时,往往需要耗费数小时至数天。此外,在庞大的搜索空间中,如何有效地选择合适的架构,也是神经架构搜索需要解决的关键问题。如果仅以网络的精度为目标进行搜索选择,容易导致网络结构过于庞大,无法部署在常见的手机等资源受限移动设备上。针对上述问题,本文提出了基于并行进化算法的高效多目标神经架构搜索。在搜索过程中,采用多目标进化算法,兼顾网络精度和网络计算复杂度,同时通过并行策略和代理模型技术,充分利用硬件资源和历史评价数据,加快神经架构的评估与搜索过程,最终实现高效的多目标神经架构搜索。本文的主要研究内容如下:(1)提出基于并行进化算法的多目标神经架构搜索。首先,充分利用多目标进化算法在多个冲突目标之间的权衡能力和良好的个体分布性,提升算法对搜索空间的探索效率,一次运行即可得到一组分布在前沿的不同大小的网络架构,满足具有不同计算能力的硬件设备的部署需求。同时,通过同步和异步并行策略,将网络架构的评估分别以个体和种群为单位,分散到不同子节点进行分布式训练和进化,以此提高网络架构的评估速度,提升算法效率。(2)在上述同步并行策略的基础上,构建基于集成学习的随进森林代理模型,进一步提出了基于代理模型的高效并行多目标神经架构搜索。在该算法设计中,首先依据少量的初始数据构建代理模型,在随后的神经网络架构搜索中,对每一代选择的个体(即网络架构)进行K-Means聚类和采样,并利用真实评估得到的新数据更新代理模型。通过代理模型进行网络架构的廉价的近似评估,进一步加快了神经架构搜索的速度。(3)在CIFAR-10数据集上对提出的算法效果进行评估,并与传统的人工设计的神经网络和具有代表性的优秀神经架构搜索方法进行对比,验证了本文提出的算法在图像分类问题上的精确度和高效性。在CIFAR-10数据集上的实验结果表明,本文设计的基于并行进化算法的高效多目标神经架构搜索,显著地提升了算法的搜索效率,在网络精度和参数量方面和其他算法相比也具有较好的竞争力。此外,将本文提出的神经架构搜索方法与在线代理模型机制结合,算法效率得到了进一步的提升。
其他文献
端板连接节点作为一种广泛应用的钢结构梁柱连接形式,具有一定的转动刚度,是一种典型的半刚性连接。然而在工程实践中,由于缺乏成熟的计算方法和工具,往往按照刚接假定对其进行设计,从结构安全和经济性方面考量都是不利的。与此同时,梁柱半刚性端板连接节点的设计是一个涉及多参数的复杂问题,端板厚度、端板宽度、螺栓直径、螺栓排数、螺栓间距等构造参数的不同组合,会产生刚度、抗弯承载力以及成本均不同的节点。因此,为便
随着社会生活水平的提高,生活垃圾的产出量与日俱增,垃圾处理的重要性和难度也在提高。提升垃圾的分类处理效率对于资源最大化和保护环境具有重要意义,不过在生活垃圾分类回收中,分类标准目前对于大众而言过于复杂。而垃圾图像检测和分类技术可以帮助居民快速掌握家中日常生活垃圾的分类,但是目前基于图像的垃圾检测分类方法存在检测速度慢、准确率低的问题。本文对国内外基于图像的垃圾分类问题进行了分析,针对国内日常生活垃
航空货物运输服务具有安全、快捷和高效等特点,如今正逐步发展成为国内外快递运输的主要方式,因此对航空货运事故原因的分析有利于减少财产损失,保障航空运输行业的健康发展。某航空公司先后发生了两起货物在运输中的熔损事件,造成了严重的经济损失。本文对货物熔损的原因和机理进行研究,并为预防同类事故的发生提出可行的安全对策措施,对于促进航空公司安全生产意义重大。本文以货运熔损包裹及其搬运设备为研究对象,利用排除
随着无线电能传输(Wireless Power Transfer,WPT)技术的发展,多负载无线电能传输成为近年来的研究热点之一。然而,现有多负载WPT系统的输出稳定性易受耦合系数影响,当耦合系数发生变化时,难以保持恒定功率和恒定效率输出,造成系统抗偏移能力弱、空间自由度低。此外,如何根据实际需要实现不同负载之间的功率分配也是多负载WPT系统面临的主要挑战。因此,为了解决上述问题,本文基于宇称时间
作为非线性系统中的一种复杂运动现象,混沌动力学研究备受各个领域关注,在神经网络、天文卫星、非线性电路及安全通信等领域更是获得了极大的发展.近半个世纪以来,以混沌学理论为基础的超混沌有了更加深入的研究.相比起混沌系统,超混沌系统至少含有两个正的Laypunov指数,且其吸引子可沿着不同方向延伸,系统的随机性和不确定性也相应加强,因此超混沌系统的动力学行为更为复杂.近年来,鉴于超混沌系统在科学领域和工
玉米赤霉烯酮(Zearalenone,ZEN,ZEA)又称F-2毒素,是一种主要由镰刀菌属(Fusarium)产生的非甾体雌激素类真菌毒素,广泛存在于霉变的玉米、小麦和高粱等谷物及其副产品中,被动物吸收后易引起不孕不育、流产和死胎等病症,且其具有很强的致突变性、致癌性,严重危害牲畜及人类健康,亟需有效的脱毒办法。目前对ZEN的脱毒研究主要集中在生物脱毒领域,利用微生物吸附作用或者其产生的作用酶催化
金属氧化物半导体为基础的薄膜晶体管具备迁移率高,均匀性好,工艺温度低等优点,因此在平板显示领域有广阔应用前景。IGZO等代表性金属氧化物半导体均需要铟元素,存在价格昂贵和有毒等问题,因此无铟金属氧化物半导体引起学界和产业界的广泛重视。本文制备了掺锆的铝锌锡氧化物(Zr-AZTO)半导体薄膜和器件,并研究了各种工艺参数对其性能的影响。首先,本研究采用ZrO2靶和原子比为Zn:Al:Sn:O=4:0.
随着我国城市化进程的加快,城市生活垃圾(MSW)不断增加,MSW的处理已经成为了城市发展中的一大难题。由于焚烧法是减少垃圾处理量和填埋场空间需求的有效途径,因此得到了世界各国的广泛关注和应用。但燃烧过程会产生HCl等物质,有可能造成二次污染。为了能够有效控制二次污染、推进垃圾焚烧进程,HCl的脱除很重要。因此,需要探索一种高效、经济的理想脱氯剂,以便在MSW焚烧过程中有效脱除HCl。文中对水滑石(
本文的研究对象“林寨古村”是第一批中国传统村落,位于粤北地区河源市和平县。地处位于县境东南、东江支流浰江下游的椭圆形盆地中,三面环山,南临浰江。“林寨古村”是一个被创造出来的称谓,实际上由兴井与石镇两个村组成,包括了历兴围、厦镇围和其间四角楼建筑群,是元末迁来的陈氏宗族所聚居的单姓聚落。在对客家传统聚落和民居建筑的研究中,林寨所处的和平县较多被归入东江流域客家文化亚区中,但深入的专门讨论较为缺乏,
从上世纪高新区启动建设至今,已经历三十余年的发展,持续推动着我国高新技术发展和全球知识经济崛起,中国大力推动创新驱动发展战略,高新区作为承载创新活动的载体、推动产业发展的重要平台,需引领地方、甚至区域创新能力提升。秉持合作共享、协调发展的理念,高新区之间、城市之间展开了平台共建的合作,在实现高新区内部创新模式转型的同时改进载体的供给模式,以适应企业发展、创业环境、人才需求的变化。本文通过文献解读、