论文部分内容阅读
深度学习目前在很多领域都得到了广泛的运用,这得益于专家手工设计的精巧的网络结构。随着技术的发展和现实的需求推动,自然而然地,人们希望机器或算法能够自动生成优秀的神经网络结构,因此,自动化的网络设计成为了深度学习领域最热门的方向之一,越来越多的研究者投入神经网络结构搜索(NAS,Neural Architecture Search)领域。本文在目前的主流NAS方法之一ENAS的基础上进行改进,提出了缩小搜索空间的一种方法,用于加速ENAS搜索过程和减小ENAS参数共享带来的偏置问题,并通过实验证明了方法的有效性,并在CIFAR-10[1]数据集上得到了优秀的结果。首先,本文针对传统EANS模型的训练过程,针对它的搜索空间过于宽泛的不足,提出了在ENAS搜索之前进行预训练,得到特定数据集关于网络结构的先验信息,对下一步的NAS搜索的设置提出了指导意见,大幅降低了网络训练的资源需求和计算开销。实验表明第一步的工作可以提升超网的训练效果和子网络模型搜索结果。其次,利用预训练得到的模型结构编码和对应精度组成数据集作为ANN(Artificial Neural Network)的训练数据集,然后训练ANN模型后对网络结构的最优结果进行预测,这种预测方法降低了预训练的规模和复杂度。最后,针对传统的超网训练普遍追求网络训练的均衡性而忽略利用前面已经训练过的子网络的有效信息的问题,本文提出了的预训练阶段的子网络进行结构近似的参数共享,即保证了训练的高效性,又避免了训练的偏置问题,对后续的ENAS搜索具有纠正的作用。本文对常规的参数共享方法进行了细致的分析,对不同的超参数的参数共享方式进行了探讨并提出了针对性的共享方式,提高算法的有效性。