论文部分内容阅读
前馈神经网络在许多领域都得到了广泛的应用,然而其学习过程经常会变得很慢,容易陷入局部极小点,有时会陷入平坦区。研究导致这些问题出现的内在工作机制是神经网络界的热点问题。本文从神经网络奇异性的角度分析前馈神经网络的学习动态,以多层感知器(MLPs)神经网络和径向基函数(RBF)神经网络作为研究对象,通过对奇异性区域附近的学习动态进行理论分析和数值分析,阐述神经网络奇异性行为的内在结构和发生机制。本文的贡献主要包括: 1.平均学习方程对分析前馈神经网络的奇异性行为起着关键的作用。可积神经元的前馈神经网络能够得到平均学习方程的解析表达式,使得我们可以对前馈神经网络的奇异学习动态做定量分析。为克服MLPs中传统的激活函数—log-sigmoid函数和双曲正切函数不可积的问题,分别选取单极性误差函数和双极性误差函数作为MLPs的激活函数,首次给出了MLPs的平均学习方程的解析表达式。 2.使用传统方法对单极性神经元的MLPs中的重合奇异性区域附近的学习动态进行了详细分析。基于平均学习方程的解析表达式,给出Hessian阵的显式形式,对重合奇异性区域进行了特征值分析,并给出了实际的平均学习轨迹,与理论的学习轨迹进行比较分析。通过使用Taylor展开,对MLPs重合奇异性区域附近的泛化误差曲面进行分析,发现在重合奇异性区域附近泛化误差曲面更加平坦,表明实际中重合奇异性区域有着比理论分析结果更大的影响区域。在仿真实验中分别对单极性神经元的MLPs的平均学习动态,批处理学习动态和在线学习动态进行了分析讨论。 3.对双极性神经元的MLPs中的互反奇异性区域附近的学习动态进行了讨论分析。通过选取双极性误差函数作为激活函数,使用坐标变换和Taylor展开,求得了互反奇异性区域附近的理论学习轨迹和实际的平均学习轨迹。给出了双极性神经元的MLPs重合奇异性区域和互反奇异性区域上的临界点,表明双极性神经元的MLPs的参数空间中的临界点比单极性神经元的MLPs更多,选取单极性的激活函数更有优势。在仿真实验中分别讨论了MLPs的平均学习动态,批处理学习动态和在线学习动态。 4.表明零权值奇异性区域是导致plateau现象发生的主要原因。针对前馈神经网络的学习过程究竟有多大程度受到奇异性区域的影响,选取RBF网络作为研究对象,对多种情形的RBF网络做大量仿真实验进行统计分析。给出了受到奇异性区域影响的各种学习过程,结果表明有超过15%的学习过程受到奇异性区域的影响且零权值奇异性区域是导致plateau现象发生的主要原因。