论文部分内容阅读
卷积神经网络在现代主流的计算机视觉任务中占据核心的地位,近年来各种形式人工设计的卷积神经网络结构性能不断突破先前记录,在许多视觉任务中已经超过了人类水平。随着人工神经网络结构越来越成熟,即便是经验丰富的领域专家也很难再取得突破性进展,因此许多学者将目光转向神经网络结构搜索(Neural Architecture Search,NAS)。由于卷积神经网络应用广泛,因此本文主要针对卷积神经网络的结构搜索进行研究。神经网络结构搜索分为三个部分,搜索空间,搜索算法和模型评估,其中每一个部分都有许多可研究的地方,搜索空间直接决定了搜索出的模型性能的上下限,搜索算法直接影响搜索到的最优模型性能和搜索时间,而模型评估是否高效决定了评估模型的时间和硬件代价,其对整个NAS搜索时间的影响也不容小觑。基于目前神经网络结构搜索对搜索空间研究较少的现状,本文分别针对搜索空间中原操作集的选取和主干网的选取进行实验和分析。首先,本文比较人工卷积神经网络和NAS中常用的原操作,依据一定规则选取合适的原操作集,并添加两种在现代人工卷积神经网络中流行的原操作以生成新的搜索空间。通过实验显示在基于竞争机制的DARTS搜索算法下这两种原操作在每条拓扑边上相对其他原操作竞争力非常强,从而让解码出的网络结构倾向于选择这两种原操作。但若选择与DARTS原搜索空间中相同的中间节点的个数构造Cell,其堆叠的网络性能却比DARTS差,这说明竞争DARTS搜索算法在此搜索空间下存在偏差。为了解决这个问题本文引入基于合作机制的DARTS搜索算法从而让最终解码出的Cell结构更合理地选择原操作,并通过实验证明最后得到的FairCNAS网络性能明显优于原DARTS。随后,本文受到哈夫曼编码的启发,提出类似哈夫曼结构的主干网,实验显示该主干网构建的搜索空间可以更好的评估搜索算法,而且能够将现有的可微分搜索算法快速集成。通过图像分类实验证明在相同的可微分搜索算法下基于该主干网构建的搜索空间搜索得到的网络结构HM-Cls优于DARTS。最后本文将NAS应用到图像分割任务上,即将上述搜索空间扩展到图像分割领域,并依据U型主干网和本文提出的哈夫曼主干网为基础分别提出了 NASUnet和HM-Seg网络。这两种网络分别在三个医学图像和一个自然场景图像分类任务中优于本文参考的基准模型。