论文部分内容阅读
人工神经网络是以数据驱动的人工智能领域中一类信息处理模式。人工神经网络通过模拟生物神经网络的信号处理方式,在图像识别、语音处理、机器翻译等领域上取得了成功。然而,神经网络的性能极易受到网络的拓扑结构、连接权值等因素的影响。目前流行的神经网络层数较深,结构相对复杂,人工设计深层的网络需要调整大量的参数才能达到特定数据集上的最佳性能。因此,当为不同数据构建最优架构时,需要设计者拥有一定的专业知识和经验并需要花费大量的时间和计算资源。鉴于此,人工神经网络架构的自动化设计成为亟待解决的问题。人工神经网络可以看作是由大量的层和权值组成,而网络中的层和权值的排列满足一定的分布规则。为了将该分布规则用于神经网络架构的演化,本文提出了一种新的生成最优架构的方法——基于进化策略的神经网络架构搜索算法(ESAS)。它由一个双层编码表示方案和两类分布学习策略——基于演化算子的概率分布学习策略和基于权值分布的性能排序策略组成。根据这两种策略,在ESAE的基础上,本文设计了基于演化算子概率分布学习策略的神经网络架构搜索(PDNAS)和基于权值分布性能排序的神经网络架构搜索(WDNAS)。ESAE不仅可以搜索最佳网络架构(例如:层类型、层参数等),还可以调整网络的权值。双层表示方案编码了网络的层和参数。基于演化算子的概率分布学习策略可以动态维护演化过程中设计的各种概率分布,如基因类型、基因参数概率分布等,保证网络架构搜索的有效收敛。基于权值分布的性能排序策略实现给定网络的权值采样赋值,通过权值采样赋值替代反向传播的训练过程,加快了网络架构搜索的速度。为了验证PDNAS的有效性,本文在Fashion-MNIST和CIFAR-10数据集上进行了实验,与现有人工设计的神经网络相比,ESAE从最简单的初始架构(仅有一个卷积层)开始搜索,在CIFAR-10和Fashion-MNIST图像分类数据集上的分类精度分别为94.48%和93.49%。此外,通过调整卷积层、池化层的核大小和通道数,可以很容易地将PDNAS转移到其他领域。本文将该算法应用于人类基因组信号和区域(GSRs)的识别问题上,在识别人类基因组中的TIS和PAS(AATAAA)分别达到95.48%和85.86%的准确率。此外,本文发现卷积神经网络的权值分布服从期望为0,标准差为0.1的正态分布,而复杂度相似的网络的性能排名与仅通过该正态分布进行前向传播的排名一致。基于这一发现,本文将ESAE中神经网络架构的训练过程替换为基于权值采样的前向传播表示方法,提出了基于权值分布性能排序的神经网络架构搜索(WDNAS),加速了搜索过程。在CIFAR-10数据集上,WDNAS搜索的架构达到了93.76%的分类精度。