基于One-shot模型的神经网络架构搜索

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:cooly88
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
神经网络架构模型对于深度学习任务的运算性能是至关重要的,传统人工设计网络架构不仅费时费力,而且设计思路多囿于前人,模型性能也很难得到保障。因此,近年来神经网络架构搜索成为了深度学习领域最为热门的研究方向之一。虽然自动化设计神经网络结构的方法层出不穷,但其中绝大多数仍需要大量的计算资源,无法被广泛使用。本课题通过分析总结现有神经网络架构搜索方法的长处和不足,基于神经网络架构搜索中的One-shot模型,提出了若干改进技术和方法,通过实验证明所提出方法的有效性和高效性,并针对图像分类任务获得了超过现有大多数神经网络架构搜索方法和人工设计所获得的模型架构。首先,本文针对传统One-shot模型的训练流程,分析总结不足,并提出了在超网络训练阶段的单路径训练方法,大幅度降低了超网络训练的资源需求。提出了针对复杂多分支搜索空间的有效编码方法,提升了网络采样选取效率。在网络结构搜索阶段,提出了利用网络结构编码实现的基于进化算法的网络结构搜索方法,提升了模型搜索性能。其次,针对超网络训练时由于搜索空间过大导致子网络模型选取过于宽泛,不具有针对性,本文设计并实现了搜索空间剪裁方法,利用超网络训练时产生的中间性能结果,对超网络节点进行屏蔽限制,从而达到搜索空间的裁剪目的。实验结果表明,通过在超网络训练期间对搜索空间进行裁剪,可以提升超网络的训练效果以及子网络模型搜索结果。最后,针对传统超网络训练方法普遍追求网络训练的均衡性从而忽视了前期已经训练过的优秀网络子模型的重要性和有效信息,本文中提出了基于缓冲池的神经网络架构搜索算法,该方法成功利用网络训练的中间信息,指导后续超网络的训练和模型搜索过程。并且此算法针对图像分类任务获得了极具竞争力的卷积神经网络模型。
其他文献
中国作为目前世界上最大的碳排放国家,面临着来自国际和国内社会的双重减排压力。碳税作为成本有效的减排手段之一,被大多数经济学家和学者所青睐,衍生出大量相关研究。然而目前仍缺乏使用文献计量方法对碳税文献进行梳理及特征定位的研究。因此,本文聚焦于碳税政策,首先,采用文献计量方法对碳税文献从定量和定性两方面进行分析,捕捉碳税领域的研究现状、发展趋势以及相关热点问题。其次,基于多区域投入产出模型,从生产侧排
我国是一个地震频发的国家,全国60%以上的地区基本地震烈度在6度以上。在发展建设的过程中,大量的隧道工程位于高烈度地震区。相比于房屋建筑、桥梁结构等地面建筑物,隧道工程在地震中具有更高的安全性。但是强震条件下,仍然有大量隧道遭受不同程度的损害,且由于所处环境的复杂,其灾后修复工作难度较大。因此,开展隧道隔震的相关研究,对我国隧道建设和减震、隔震设计具有重大意义。本文基于目前对隧道工程减震、隔震的研
随着社会科技的进步,电子器件的体积越来越小,伴随而来的是单位电子器件体积的热功率越来越大,导致发热量变大,温度提高。而温度越高,电子器件的工作效率就越低,甚至会缩短其
随着高分辨率传感器技术的飞速发展,扩展目标跟踪技术在高分辨率雷达探测、智能驾驶等军事和民用领域,引起了越来越多的关注。扩展目标跟踪不仅要估计目标的运动特征,还要估
随着贻贝养殖规模的扩大,贻贝养殖活动对生态环境的影响也越发明显,贻贝养殖过程中,养殖水域及其周边水域的物理、化学和生物环境都受到了影响。本文研究区域为枸杞岛周边贻贝养殖区,以栖息在贻贝养殖生境的褐菖鲉(Sebastiscus marmoratus)幼鱼为主要研究对象,根据贻贝养殖生境的环境特点和养殖区内外褐菖鲉幼鱼的生长差异来研究贻贝养殖生境对褐菖鲉幼鱼的养护机制,从而针对性的评价贻贝养殖的生态效
在宽恕心理的研究中,以冒犯行为为背景,大多数学者都是从受害者角度展开对宽恕的探讨,尤其表现在宽恕他人的机制上。而冒犯者作为冒犯行为的另一主角,很少有文献从冒犯者角度出发,研究其自我宽恕机制。但是其作用不可忽视,研究表明在自我宽恕量表上得分高的个体表现出更高的生活满意度,并显示出更高的生理健康。基于此,本文将自我宽恕作为因变量,将内疚和羞耻这两个相似情绪作为自变量,同时引入认知因素反刍,旨在探讨内疚
3D传感和扫描技术已经被广泛用于捕捉物理物体的数字表面。然而,在捕捉和3D重建过程中,由于各种内外因素噪声不可避免的进入,这降低了表面数据质量及其可用性,显然妨碍了后续
研究背景:micro RNAs是一类目前发现在病毒基因组和真核生物里表达的单链小分子非编码蛋白的RNA,长度大约在18至22个碱基。大部分micro RNAs是通过与下游靶m RNA的3端非编码区(3’-UTR)互补结合来使其降解或抑制其翻译过程,从而在转录后水平上调控动植物的生长发育,细胞增殖、分化、凋亡、代谢、免疫反应等生物学进程。肝缺血再灌注损伤是肝移植中常见的发病和死亡原因,多发生于手术、
传统金属互联片上网络,因其固有的多跳传输特性,当网络规模扩大时,功耗和数据包延迟大幅增加。无线片上网络可以为片上长距离数据包传输提供单跳无线链路,被认为是替代传统金
文物数字化对于文物的研究、保护具有重要意义。传统的数字化技术多采用三维激光扫描技术,但该技术不能展示物体的内部结构信息。CT(Computed Tomography)技术,即计算机断层