前馈神经网络的奇异学习动态研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:zwf1979
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
前馈神经网络在许多领域都得到了广泛的应用,然而其学习过程经常会变得很慢,容易陷入局部极小点,有时会陷入平坦区。研究导致这些问题出现的内在工作机制是神经网络界的热点问题。本文从神经网络奇异性的角度分析前馈神经网络的学习动态,以多层感知器(MLPs)神经网络和径向基函数(RBF)神经网络作为研究对象,通过对奇异性区域附近的学习动态进行理论分析和数值分析,阐述神经网络奇异性行为的内在结构和发生机制。本文的贡献主要包括:  1.平均学习方程对分析前馈神经网络的奇异性行为起着关键的作用。可积神经元的前馈神经网络能够得到平均学习方程的解析表达式,使得我们可以对前馈神经网络的奇异学习动态做定量分析。为克服MLPs中传统的激活函数—log-sigmoid函数和双曲正切函数不可积的问题,分别选取单极性误差函数和双极性误差函数作为MLPs的激活函数,首次给出了MLPs的平均学习方程的解析表达式。  2.使用传统方法对单极性神经元的MLPs中的重合奇异性区域附近的学习动态进行了详细分析。基于平均学习方程的解析表达式,给出Hessian阵的显式形式,对重合奇异性区域进行了特征值分析,并给出了实际的平均学习轨迹,与理论的学习轨迹进行比较分析。通过使用Taylor展开,对MLPs重合奇异性区域附近的泛化误差曲面进行分析,发现在重合奇异性区域附近泛化误差曲面更加平坦,表明实际中重合奇异性区域有着比理论分析结果更大的影响区域。在仿真实验中分别对单极性神经元的MLPs的平均学习动态,批处理学习动态和在线学习动态进行了分析讨论。  3.对双极性神经元的MLPs中的互反奇异性区域附近的学习动态进行了讨论分析。通过选取双极性误差函数作为激活函数,使用坐标变换和Taylor展开,求得了互反奇异性区域附近的理论学习轨迹和实际的平均学习轨迹。给出了双极性神经元的MLPs重合奇异性区域和互反奇异性区域上的临界点,表明双极性神经元的MLPs的参数空间中的临界点比单极性神经元的MLPs更多,选取单极性的激活函数更有优势。在仿真实验中分别讨论了MLPs的平均学习动态,批处理学习动态和在线学习动态。  4.表明零权值奇异性区域是导致plateau现象发生的主要原因。针对前馈神经网络的学习过程究竟有多大程度受到奇异性区域的影响,选取RBF网络作为研究对象,对多种情形的RBF网络做大量仿真实验进行统计分析。给出了受到奇异性区域影响的各种学习过程,结果表明有超过15%的学习过程受到奇异性区域的影响且零权值奇异性区域是导致plateau现象发生的主要原因。
其他文献
本文主要应用小生境遗传进化算法,结合其它一些传统的优化方法,对一类多模全局优化问题进行了深入细致的研究.理论研究涉及到无约束条件下多模连续函数优化问题、约束条件下
在近几年工业过程控制领域中,故障诊断技术俨然成为一个非常重要的热门研究方向。而之前的故障诊断方法在工业过程中的应用虽然已经取得一定成就,但由于如今控制精度要求的提
本文将研究内容放在了基于调度结果的生产调度设备流程工艺图配置优化及其自动生成方面.本文研究的生产调度设备流程工艺图配置优化及其自动生成系统是国家863项目"流程工业
本文首先介绍了工业机器人控制器的研究现状与发展趋势,指出了开放式控制器是今后机器人控制器的发展方向。 论文重点介绍了SIA-SUNRH6型弧焊机器人的运动学问题,即不考虑产
随着制造业技术的发展,产品需求水平的提高和制造业全球化趋势的发展,制造系统经历了从大批量、少品种生产方式到小批量、多品种生产方式,再到大规模定制(Mass Customization)生
“基于FCS的电力推进船舶的综合监控系统”是交通部重点实验室在建的“多模式机舱综合仿真系统”的子项目,是其真实环境的一部分,得到了上海市市科委科技发展基金的资助,项目号:0
随着科技的高速发展和进步,过程自动化在现代化工工业生产中应用越来越广泛,其功能日趋完善。同时系统规模不断扩大,结构复杂性的日益提高,导致系统存在大量的安全隐患。这使
本文的研究目的是通过对现有混沌密码技术、同步方法以及各种混沌模型的特性的研究和总结,在混沌系统的固有特性、混沌保密方法的安全性与实用性方面作进一步的探索,针对混沌
图像增强是一类图像处理问题的总称。图像增强的目的是实现对图像的变换从而使得图像更适用于某些特定的应用。本文将探讨四类图像增强问题,即跨模态人脸合成、图像纹理平滑、
该文主要研究谐振软开关DC-DC变换器的建模与非线性控制等问题.主要的工作包括以下几个方面:由于开关元件和谐振环节的存在,准谐振变换器是一个时变的非线性离散系统,其电路