模块化神经网络结构自组织设计方法研究

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:kg1ksmhz1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
从仿生学角度出发,根据脑功能分区原理和脑式信息处理理论,对模块化神经网络结构自组织设计中的子网络结构自组织问题、复杂任务动态分解问题和子网络动态重组问题展开了系统而深入的研究,内容包括:  1.提出了一种基于改进拟熵的权衰减算法,该算法对Shannon熵进行改进,改进后的熵与Shannon熵对不确定性的描述具有相同的效果,但克服了Shannon熵固有的缺点。将神经网络实际输出与期望输出的交叉熵和隐节点输出拟熵作为代价函数,并采用熵周期的策略对网络参数进行寻优。最后,通过删除冗余的权连接,实现了简化神经网络结构的目的。  2.针对传统修剪算法必须将网络训练到代价函数局部极小的问题,提出了一种基于神经网络复杂度的修剪算法。该算法利用网络连接权矩阵的协方差矩阵计算网络的信息熵,获得网络的复杂度,在保证网络信息处理能力的前提下,删除对网络复杂度影响最小的隐节点。由于该算法只与神经网络的内部连接特性有关,而与外部输入无关,因此该算法不要求训练网络到代价函数的极小点,适合在线修剪网络结构。  3.针对权衰减和修剪算法采取贪婪搜索策略易陷入局部最优网络结构的问题,提出了一种自适应前馈神经网络结构设计算法。该算法根据前馈网络输出节点的输出是隐节点输出的线性组合的事实,结合前馈网络的学习动态,采取自适应寻优策略合并和分裂隐节点。当神经网络中有冗余隐节点时,利用互信息找到输出线性相关的隐节点进行合并,以简化神经网络结构;当神经网络学习能力不足时,采用随机分裂隐节点的方法,以增大神经网络的学习能力。实验表明,该算法能够达到设计最优神经网络结构的目的。  4.针对单一神经网络训练时间长、对复杂问题处理精度较低、易陷入局部极小等缺陷,提出了一种多层协同模块化神经网络结构。该神经网络具有层级结构,基于条件模糊聚类技术对样本进行分类,根据分类结果实现对神经网络的模块划分,采用代数算法对网络权值进行求解,基于距离测度设计了处理输入信息的子网络选择方法。为提高神经网络对复杂问题的逼近能力,选择数目不等的多个子网络参与给定输入的协同学习,采取“分而治之”与“集成学习”相结合方法以提高网络的性能。实验表明,对于复杂问题,多层协调模块化神经网络可以有效地提高网络的逼近精度,训练时间也优于单一神经网络。  5.针对全互连BP神经网络在应用中存在的问题,提出了一种局部互连BP神经网络结构。它利用RBF神经元的物理特性,实现对输入样本空间的分解,并将分解后的样本送到神经网络不同区域去学习。与全互连BP神经网络相比,降低了网络在学习过程中的权值搜索空间,提高了网络的学习速度,改善了网络的泛化性能。另外,该神经网络结构也考虑了神经网络结构设计的问题,可以根据当前的学习状况调整神经网络的规模。实验表明,该网络能够解决全互连BP神经网络不能有效解决的问题。  6.针对传统模块化神经网络应对时变系统时结构固定的问题,提出了一种在线自组织模块化神经网络结构设计方法。该方法利用RBF神经元实现对输入样本空间的分解,并采用改进的在线减法聚类算法在线辨识RBF神经元的数据中心。在网络的学习过程中,由于RBF神经元能够随着时变环境的变化而变化,因此模块化神经网络能随着所学习对象时变环境的变化而自适应调整网络中子网络的数量。为提高网络的学习速度,采用模糊策略选择部分合适的子网络参与学习和集成,并且子网络在学习中也采用自适应结构调整算法调整自身的网络规模。通过对人工时变数据集和真实时变数据集的实验,表明该模块化系统特别适用于时变系统。
其他文献
变量泵是液压系统的动力源元件,随着工程应用的需要,变量泵正朝着数字化、多功能化、高压、大流量、节能性的方向发展。本课题在传统机液式变量泵的基础上,对变量机构的控制方式
该文通过对算子逼近研究的重要基本问题以及其逼近阶的探讨,引入了标量小波和向量小波的概念,并能过较典型的模式分析应用,对小波尤其是向量小波的理论方法和应用价值进行了
在该课题中,对气体质量流量测量的温压补偿方法进行了较深入的研究,针对工程上在标准状态附近经常忽略实际气体与理想气体的差异的情况,从基本原理入手,对以天然气为代表的实
该文运用逐步自回归模型、求和自回归滑动平均模型和人工神经网络模型,分别对中国农作物受灾面积作了预测,并在上述模型的基础上,运用组合方法,建立农作物受灾面积组合预报模
该文针对海城市农电局的具体情况,制定了开发此系统的四个开发原则和五个开发阶段,并对开发阶段的设计阶段进行了详细的说明,此阶段运用先进的设计方法与结构分析,结合NT网和
该文设计出相应的硬件电路和编制控制软件,采用工控机成了其系统,并在生产实践的应用中,创造了很好的经济效益,得到了用户的好评.论文提出用模糊控制理论对压铸过程重要参数-
视频目标跟踪是计算机视觉领域的一个热点话题,在众多领域内具有广泛的应用价值。尽管提出了不少有效的跟踪算法,但是在实际用中面临许多困难,比如目标形变、环境光照变化、目标
该文将一种新型的Robust Backstepping非线性设计方法,应用于汽车主动悬架的控制.通过对主动悬架数学模型分析,导出了适合于采用Backstepping方法的系统模型.该文所提控制方
在诸多的优化算法中,遗传算法(Genetic Algorithms,GAs)是一种很有前途的随机优化算法,它具有非线性性和并行处理等优点.但传统的简单遗传算法(SGA)存在着以下问题:1.SGA不可
该文详尽介绍了华能营口电厂实时信息管理系统的设计开发过程.该系统主要由系统图显示子系统、参数图形显示子系统、报表浏览与打印子系统以系统图的形式显示实时数据;参数图