论文部分内容阅读
近年来，深度学习凭借其优异的性能在各个领域深受欢迎，以卷积神经网络(Convolutional Neural Network，CNN)、残差神经网络(Residual Networks，ResNet)和密集连接网络(Densely Connected Convolutional Networks，DenseNet)为代表的深度学习网络模型在图像识别领域取得了良好的识别效果。
在传统的深度学习中，深层网络往往包含更多的语义信息。研究发现，深度学习的分类能力与网络层数成正比，但是当网络达到一定深度时，网络的收敛速度开始变慢乃至停止，网络的分类能力不再上升甚至出现下降的趋势。归根结底是因为当加深网络层数时，网络的训练参数数量不断增加，导致负责网络更新的梯度信息以巨大的速度衰减，使神经元的参数难以更新，以至于出现梯度消失、网络无法收敛以及梯度弥散的问题。而且过深的网络层数和庞大数量的训练参数需要研究人员花费大量的时间来确定最优的网络结构和训练参数以得到更好的识别准确度，针对以上问题，本文开展了以下工作:
一方面，本文利用遗传算法(Genetic Algorithm，GA)对残差神经网络进行优化，提出了GA-ResNet。在GA-ResNet网络中，本文定义了阶的概念，阶以池化层为界，并且由一系列预定义的残差块组成。同时，本文提出了一种新型编码规则GARCode，将网络结构转换为固定长度的二进制串，经过遗传算法的选择、突变和交叉操作，从上一代种群中产生新的竞争网络结构，并消除弱的网络结构。该网络通过残差神经网络独特的跳连接结构，能够解决网络训练时发生的梯度弥散与梯度消失等问题，而遗传算法强大的搜索能力能够自动的寻找最优网络结构和训练参数，有效提升了效率和网络分类准确度。
另一方面，本文利用遗传算法对密集连接网络进行优化，提出了GA-DenseNet。GA-DenseNet以过渡层为界划分不同的阶，同时以密集块为节点，利用提出的新型编码规则GADCode执行遗传操作。相比GA-ResNet，GA-DenseNet网络结构更加复杂，初始化阶段采用伯努利分布对每个个体进行独立采样，个体选择阶段采用“俄罗斯轮盘赌”程序确定幸存个体，利用变异和交叉操作避免网络陷入局部最优，最后采用适应度函数评估网络结构性能。DenseNet可将浅层特征直接与深层特征相融合，有效提高网络特征的利用率。GA-DenseNet结合遗传算法和DenseNet优势，能够减少训练参数，降低系统资源消耗，提高网络的寻优能力。
在Cifarl0数据集上，GA-ResNet网络和GA-DenseNet网络分别取得了91.26％、91.84％的分类准确度，比CNN提高了2.43％、3.01％;Cifarl00数据集上，两种网络分别取得了65.13％、68.53％的分类准确度，比CNN提高了2.55％、5,95％。实验结果表明，本文提出的GA-ResNet和GA-DenseNet与传统的深度学习神经网络相比具有更好的性能。
在传统的深度学习中，深层网络往往包含更多的语义信息。研究发现，深度学习的分类能力与网络层数成正比，但是当网络达到一定深度时，网络的收敛速度开始变慢乃至停止，网络的分类能力不再上升甚至出现下降的趋势。归根结底是因为当加深网络层数时，网络的训练参数数量不断增加，导致负责网络更新的梯度信息以巨大的速度衰减，使神经元的参数难以更新，以至于出现梯度消失、网络无法收敛以及梯度弥散的问题。而且过深的网络层数和庞大数量的训练参数需要研究人员花费大量的时间来确定最优的网络结构和训练参数以得到更好的识别准确度，针对以上问题，本文开展了以下工作:
一方面，本文利用遗传算法(Genetic Algorithm，GA)对残差神经网络进行优化，提出了GA-ResNet。在GA-ResNet网络中，本文定义了阶的概念，阶以池化层为界，并且由一系列预定义的残差块组成。同时，本文提出了一种新型编码规则GARCode，将网络结构转换为固定长度的二进制串，经过遗传算法的选择、突变和交叉操作，从上一代种群中产生新的竞争网络结构，并消除弱的网络结构。该网络通过残差神经网络独特的跳连接结构，能够解决网络训练时发生的梯度弥散与梯度消失等问题，而遗传算法强大的搜索能力能够自动的寻找最优网络结构和训练参数，有效提升了效率和网络分类准确度。
另一方面，本文利用遗传算法对密集连接网络进行优化，提出了GA-DenseNet。GA-DenseNet以过渡层为界划分不同的阶，同时以密集块为节点，利用提出的新型编码规则GADCode执行遗传操作。相比GA-ResNet，GA-DenseNet网络结构更加复杂，初始化阶段采用伯努利分布对每个个体进行独立采样，个体选择阶段采用“俄罗斯轮盘赌”程序确定幸存个体，利用变异和交叉操作避免网络陷入局部最优，最后采用适应度函数评估网络结构性能。DenseNet可将浅层特征直接与深层特征相融合，有效提高网络特征的利用率。GA-DenseNet结合遗传算法和DenseNet优势，能够减少训练参数，降低系统资源消耗，提高网络的寻优能力。
在Cifarl0数据集上，GA-ResNet网络和GA-DenseNet网络分别取得了91.26％、91.84％的分类准确度，比CNN提高了2.43％、3.01％;Cifarl00数据集上，两种网络分别取得了65.13％、68.53％的分类准确度，比CNN提高了2.55％、5,95％。实验结果表明，本文提出的GA-ResNet和GA-DenseNet与传统的深度学习神经网络相比具有更好的性能。