近些年随着深度学习和神经网络的快速发展,归一化技术的研究在深度神经网络中已经是必不可少的一部分。批归一化技术(Batch Normalization,BN)通过计算小批量中的示例的均值和方差来对输入进行归一化从而减轻深度神经网络训练中的梯度爆炸和消失的问题;权重归一化(Weight Normalization,WN)通过对训练参数进行解耦合从而改善优化问题来加速收敛;层归一化(Layer Normalization,LN)计算单个训练样本的所有单元的均值和方差来对输入进行归一化。归一化技术的提出促进了深度网络的发展,为此,本文基于深度学习网络开展了以下三个方面的归一化技术研究:(1)研究了典型的几种归一化技术在多层前馈网络和卷积神经网络(Convolutional Neural Network,CNN)中的应用及其效果,给出了包括批归一化、层归一化、分组归一化(Group Normalization,GN)、权重归一化在内的各种归一化算法复杂度和性能对比。观察了采用批归一化算法后每层网络的参数尤其是其两个可训练参数增益和偏置变化情况,并且基于观察到的现象提出了优化后的批归一化算法CBN(Convenient Batch Normalization),优化后的算法CBN在保持同样分类准确率的情况下降低了标准批归一化算法的复杂度,经实验验证,在101层的ResNet网络上应用优化的归一化算法可减少约15%的训练时间。(2)针对小批次输入的归一化问题,提出了一种通过修正的移动均值和方差来得到更准确的参数估计的归一化算法。该修正算法基于批重归一化(Batch ReNormalization,BRN)算法,重点对BRN算法中的梯度更新和归一化操作根据批次大小进行了调整。实验表明:改进后的归一化算法在小批次输入下收敛更快,性能更佳。(3)针对长短期记忆网络(LSTM,Long Short-Term Memory),对比研究了各种归一化算法,分析了归一化算法在CNN网络和RNN网络中的差异性。论文在分析的基础上重点在两个仿真任务(自编码器及自然语言分析)上进行了实验。实验结果表明:适合CNN的归一化算法不一定对LSTM适用,Weight Normalization不管是从计算量还是时间成本来说都比较适合用于LSTM任务,但是如果对计算量没有要求,引入了平滑系数的Layer Normalization和L1正则化结合可能是目前最好的选择。