卷积神经网络结构搜索的搜索空间优化研究与应用

来源 :中央民族大学 | 被引量 : 0次 | 上传用户:flyfish11111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
卷积神经网络在现代主流的计算机视觉任务中占据核心的地位,近年来各种形式人工设计的卷积神经网络结构性能不断突破先前记录,在许多视觉任务中已经超过了人类水平。随着人工神经网络结构越来越成熟,即便是经验丰富的领域专家也很难再取得突破性进展,因此许多学者将目光转向神经网络结构搜索(Neural Architecture Search,NAS)。由于卷积神经网络应用广泛,因此本文主要针对卷积神经网络的结构搜索进行研究。神经网络结构搜索分为三个部分,搜索空间,搜索算法和模型评估,其中每一个部分都有许多可研究的地方,搜索空间直接决定了搜索出的模型性能的上下限,搜索算法直接影响搜索到的最优模型性能和搜索时间,而模型评估是否高效决定了评估模型的时间和硬件代价,其对整个NAS搜索时间的影响也不容小觑。基于目前神经网络结构搜索对搜索空间研究较少的现状,本文分别针对搜索空间中原操作集的选取和主干网的选取进行实验和分析。首先,本文比较人工卷积神经网络和NAS中常用的原操作,依据一定规则选取合适的原操作集,并添加两种在现代人工卷积神经网络中流行的原操作以生成新的搜索空间。通过实验显示在基于竞争机制的DARTS搜索算法下这两种原操作在每条拓扑边上相对其他原操作竞争力非常强,从而让解码出的网络结构倾向于选择这两种原操作。但若选择与DARTS原搜索空间中相同的中间节点的个数构造Cell,其堆叠的网络性能却比DARTS差,这说明竞争DARTS搜索算法在此搜索空间下存在偏差。为了解决这个问题本文引入基于合作机制的DARTS搜索算法从而让最终解码出的Cell结构更合理地选择原操作,并通过实验证明最后得到的FairCNAS网络性能明显优于原DARTS。随后,本文受到哈夫曼编码的启发,提出类似哈夫曼结构的主干网,实验显示该主干网构建的搜索空间可以更好的评估搜索算法,而且能够将现有的可微分搜索算法快速集成。通过图像分类实验证明在相同的可微分搜索算法下基于该主干网构建的搜索空间搜索得到的网络结构HM-Cls优于DARTS。最后本文将NAS应用到图像分割任务上,即将上述搜索空间扩展到图像分割领域,并依据U型主干网和本文提出的哈夫曼主干网为基础分别提出了 NASUnet和HM-Seg网络。这两种网络分别在三个医学图像和一个自然场景图像分类任务中优于本文参考的基准模型。
其他文献
草莓属植物开白花,红花草莓(Fragaria×Potentilla)为属间杂种,花朵呈红色或粉色,色彩鲜艳,是一种观赏兼食用的新型花卉,可应用于园林绿化及室内盆栽观赏,具有良好观赏价值与开发潜力。本试验以红花草莓品种‘四季红’的匍匐茎茎尖为外植体,分析了培养基、外源激素等对初代培养、继代增殖和生根培养的影响,建立了红花草莓无菌试管苗离体快繁体系,为红花草莓的良种繁育打下了基础,对实现红花草莓工厂化
<正>背景细胞因子被认为与椎间盘突出的病理生理变化有着密切的关系.然而,其在不同类型的椎间盘突出患者血清中的表达的研究相对较少.目的运用酶联免疫吸附法(ELISA)测定患者
新冠肺炎疫情是新中国成立以来在我国发生的传播速度最快、感染范围最广、防控难度最大的一次重大突发公共卫生事件。从疫情防控的实践来看,中国共产党的政治优势、组织优势
父亲参与教养是一个古老而又年轻的话题。它曾在遥远的古代备受研究者的关注,又在20世纪50年代被研究者所舍弃,直到20世纪80年代,才又伴随着《父亲:孩子发展中被遗忘的贡献者》一文重新回归大众的视野,再一次成为研究的热点。目前,已有大量的研究证实,父亲参与教养会对幼儿个性化和社会化的发展发挥重要而独特的作用。因此,为了实现幼儿的全面发展,我们有必要研究影响父亲参与教养的因素,以提高父亲参与教养的频率
习近平总书记指出,党和国家工作大局就是审计工作的着力点。“十四五”时期,是我国在全面建成小康社会基础上开启全面建设社会主义现代化国家新征程的第一个五年,是江苏深入
<正>本文通过江淮地区的区域构造与地震活动关系的分析,讨论弱震区地震带的划分问题。江淮弱震区系指北纬34°以南的长江中下游和淮河流域地区,包括豫西、鄂东、赣北、安徽、
会议
对于语文学科的课外阅读部分,一些教师认为应该进行“整本书”的阅读,一些教师认为应该进行“单篇短章”的阅读,二者各有特色,那么,哪种方法是相对科学的?抑或是二者的结合更
罗马从拉提乌姆地区的从蕞尔小邦发展成地中海世界的帝国,依靠的是强大的军事力量、不断适应形势需要进行调整的政治策略以及卓有成效的人力资源的配罝。但是,罗马人把自己的
激光微加工技术是准分子激光技术的一个新的应用领域。准分子激光波长处于紫外和深紫外波段,具有单光子能量大、波长短等特点。相比于常见的可见段和红外段激光,准分子激光在
2022年北京冬奥会的临近,使我国冰雪产业迅猛发展。滑雪企业迎来良好的发展契机的同时,也迎来了激烈的市场竞争。因此,如何在竞争的洪流中脱颖而出,便成为了滑雪企业的发展关